DPS Build

斯坦福开源了一个自行搭建 LLaMA 的架构指南 Alpaca，有人算了算了，大概花 $600 就能训练出一个表现类似 GPT3.5 的大语言模型。 https://crfm.stanford.edu/alpaca/ https://twitter.com/yanndubs/status/1635339256532205568

摩尔定律之父去世 https://www.intel.com/content/www/us/en/newsroom/news/gordon-moore-obituary.html

这个插件把我写的都写完了，以后直接调用这个插件就能结合自己的知识库来使用 ChatGPT API https://github.com/openai/chatgpt-retrieval-plugin

模块化笔记本电脑 Framework 发布新的 Framework 16 系列，除了延续之前的设计以外，还增加了显卡模块和几乎可以无限拓展的信号输入模块： it also brings in two new module ecosystems: a fully reconfigurable input deck and modular, upgradeable graphics. https://frame.work/fr/fr/blog/introducing-the-framework-laptop-16

当下，最火爆的科技产品莫非 OpenAI 的 ChatGPT，而领导这一切的是他们的 CTO -- Mira Murati。关于她的报道并不多，Fast Company 最近发布了一篇她的详细介绍。 https://t.me/tms_ur_way/2618

Weights & Biases 测试了在 M2Pro Mac Mini 上跑深度学习的训练。比前一代的 M1 Pro 快了不少，Tensorflow 大约有 15% 的增长，Pytorch 大约有18%。 结论是，这一代的 Mac Mini 可以拿来写模型原型，但是要想训练，还是需要 N 卡。 https://wandb.ai/capecape/pytorch-M1Pro/reports/Is-the-New-M2Pro-Mac-Mini-a-Deep-Learning-Workstation---…

第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。

围绕着 ChatGPT API 写了两周代码，记录一些想法： 1. ChatGPT API 自 gpt-turbo-3.5 发布以来，做了大大的简化。只需要在请求里写两个参数：model 和 messages，其他参数都被隐藏了。 2. 需要调整输出的话，只需要在 messages 写 prompts，通过自然语言就能控制模型的输出。大大降低了开发难度，又给输出添加了无限可能 3. 不仅 API 的交互得以大大简化，围绕着 ChatGPT API 开发的话，也可以大大简化整个 NLP 项目的开发。它不一定能取代所有的本地训练，但是合理利用的话，可以大大加快本地的训练。 https://letters.acacess.com/chapgpt_api/

Zapier 发布了基于 ChatGPT API 的新接口，用户可以利用自然语言直接写指令(prompts)，等于增加了一个无限可能的接口。 https://twitter.com/nonmayorpete/status/1638640617122320385

Zapier 发布了基于 ChatGPT API 的新接口，用户可以利用自然语言直接写指令(prompts)，等于增加了一个无限可能的接口。 https://twitter.com/nonmayorpete/status/1638640617122320385

Github 发布了 Copilot X https://github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience/ https://twitter.com/swyx/status/1638550858073006089

按照 OpenAI 的建议，如果 embedding 的 doc size 不超过两万条，可以直接把 embedding 放在内存里使用；超过两万条的话，建议使用这种专用的 vector db。 https://twitter.com/nash_su/status/1638042474689220609