DPS Build

一个可以在本地运行的 ChatGPT 客户端： 1. 界面与 ChatGPT 的 UI 类似 2. 所有会话记录保存在本地 3. 支持 markdown / 代码高亮 4. 需要添加自己的 API key https://github.com/mckaywrigley/chatbot-ui

分布式跑大语言模型，这个点子很赞啊，每个人跑一点，所有联网的机器拼起来就能跑非常大的模型了。 https://petals.ml/

OpenAI 的 applied search lead - Lilian Weng 写的两篇关于 prompts 的长文，有非常多的细节 https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/ https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/

HuggingFace 能够直接渲染 Jupyter notebooks 了，而且可以直接在 Google colab 打开。 https://huggingface.co/spaces/davanstrien/notebooks-on-the-hub/blob/main/welcome_notebook_on_the_hub.ipynb

李沐做的读 AI 论文项目，每篇都有非常细致的讲解。 https://github.com/mli/paper-reading

手工写完一个方案后，看到有人把工具链搭出来了： LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data. https://github.com/jerryjliu/llama_index

芬兰的 Women in Tech 实践： 1. 与企业有更紧密的联系 2. 有更多的线下活动 3. 有更积极的宣传 https://m.douban.com/group/topic/285104000/

第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。

在单机上可以跑得动 Meta 发布的 LLaMA 模型。 https://til.simonwillison.net/llms/llama-7b-m2 https://twitter.com/ggerganov/status/1634282694208114690 #ml

MidJounery 5 已经能把反光和虚化做到这种程度了，太惊人了！ https://twitter.com/icreatelife/status/1636984169065504769

一个利用斯坦福 Alpaca 框架 fine tune 模型的例子 https://twitter.com/mrm8488/status/1636742703055527937

估算大语言模型的训练成本： Nvidia A100 跑一小时的电费大概是1美金 https://simonwillison.net/2023/Mar/17/beat-chatgpt-in-a-browser/