Post #61

这几天在看如何用自己的语料库结合 ChatGPT API 来使用，目前找到两个方案： 1. 利用最新的 gpt-turbo-3.5 模型：先建立 doc embedding，然后利用 query embedding，通过文本相似度从 doc embddding 中找到和 query embedding 最接近的数据，然后讲这些数据作为 context 填写在 prompt 里一起发起请求； 2. 利用之前的 davinci / ada 模型：先建立 doc embedding，然后将这一 embedding 通过 API 上传到 OpenAI 上，每次请求时，指定使用这一 embedding。 目前的测试看下来，前面这种方案效果更好，但是因为要发起多次请求，所以速度比较慢；后面这种会将结果局限在 embedding 内，当然因为是单次请求，所以速度较快。 成本方面，turbo 的价格是 davinci / ada 的十分之一，但是因为多次请求，且带有 context，所以大概估算下来可能差得不多。 如果大家有更好的思路，也欢迎讨论。