python openai_api流要求的进一步展开说明

使用OpenAI的流式API

OpenAI的流式API调用可能会感觉很慢，除网络延迟的影响，响应生成的进程中也会有很大的延迟。

如果使用同步接口，我们需要等待响应完全生成后才能显示输出结果。虽然在与利用服务对接时可能没有太多好的处理方案，但对Web利用来讲，我们可以通过流式处理来实现实时的数据返回，提高响应优先级。

后真个流式处理

大多数的SDK都已对OpenAI API的流式响应进行了封装，这里以.NET的Betalgo.OpenAI.GPT3为例，具体配置请参考相关文档。

//使用CreateCompletionAsStream获得 completions
var completions = openAIService.Completions.CreateCompletionAsStream(new OpenAI.GPT3.ObjectModels.RequestModels.CompletionCreateRequest { 
    Prompt = BuildPrompt(input.Prompt),
    MaxTokens = 100, 
    Temperature = 0.5f, 
    TopP = 1, 
    FrequencyPenalty = 0, 
    PresencePenalty = 0, 
    StopAsList = new List<string> { "Q:", "A:" } 
}, Models.TextDavinciV3);

//将返回内容直接经过UTF编码写入Response
async Task ResponseWrite(string? text) { 
    if (text == null) return; 
    await Response.Body.WriteAsync(Encoding.UTF8.GetBytes(text)); 
    await Response.Body.FlushAsync(); 
}

//逐一获得 completion的返回，并写入到Response中
await foreach (var completionResponse in completions) { 
    if (completionResponse.Successful) { 
        await ResponseWrite(completionResponse.Choices[0].Text); 
    } else { 
        await ResponseWrite("<ERR>"); 
        if(completionResponse.Error != null) { 
            await ResponseWrite(completionResponse.Error.Code); 
            await ResponseWrite(completionResponse.Error.Message); 
        } else { 
            await ResponseWrite("<unknown>"); 
        } 
    } 
}

这段代码中最核心的部份是ResponseWrite，提早将内容写入Response的Body并进行Flush。

另外需要注意的是，Action不能再有返回值（如果是.NET 7的话，可以返回Empty），由于在Action结束之前已向Response写入了内容，再有返回值会致使报错。

前真个流式处理

一样地，后端以流式情势发送数据，前端需要以流式情势接收。

这里不需要使用EventSource、WebSocket或其他实时通讯框架，只需要使用普通的fetch便可。

async function send() { 
    const input = document.getElementById("input").value; 
    const output = document.getElementById("output"); 
    output.innerText = ""; 
    const url = "/api/stream"; 
    const data = { 
        "Prompt": input 
    }; 

    // 获得fetch的response，如果没法使用await，可以采取Promise的方式
    const response = await fetch(url, { 
        method: "POST", 
        body: JSON.stringify(data), 
        headers: { 
            "Content-Type": "application/json" 
        } 
    });

    //获得UTF8的解码
    const encode = new TextDecoder("utf⑻");

    //获得body的reader
    const reader = response.body.getReader();

    //循环读取response中的内容
    while (true) { 
        const { done, value } = await reader.read(); 
        if (done) { 
            break; 
        } 
        // 解码内容
        const text = encode.decode(value); 
        // 当获得毛病token时，输出毛病信息
        if (text === "<ERR>") { 
            output.innerText = "Error"; 
            break; 
        } else { 
            // 获得正常信息时，逐字追加输出
            output.innerText += text; 
        } 
    } 
}

fetch获得的response可以通过response.body.getReader()获得reader，然后循环获得reader中的响应。根据情况，将响应内容追加到界面上，从而实现逐字打印的效果。

python openai_api流要求的常见问答Q&A

import openai

# 填写您的API密钥
openai.api_key = "这里填写您的API密钥"

# 编写您的API调用代码
def call_openai_api():
    # 依照OpenAI API的文档编写您的代码，并使用您想要调用的模型及参数
    
    # 示例：使用ChatGPT模型生成文本
    response = openai.Completion.create(
        engine="text-davinci-003",
        prompt="您的问题",
        temperature=0.7,
        max_tokens=100
    )
    
    # 处理API的响应结果
    # 示例：提取模型生成的文本
    generated_text = response.choices[0].text
    
    # 进行后续处理或展现
    
    return generated_text

print(call_openai_api())