DPS Build

#ml https://www.kdnuggets.com/2023/06/ten-years-ai-review.html

这几天在学习 langchain 这个工具链，有点像为 llm 开发的 pandas，将上下游各种工具都打通。 听说他们刚刚还融资成功，准备开始产品化。非常快的速度，一切都发生在短短几个月的时间内。 https://github.com/hwchase17/langchain #open#ml

Twitter 开源了它的推进算法 https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm https://github.com/twitter/the-algorithm-ml #ml#open

Attention is Turing Complete https://www.jmlr.org/papers/volume22/20-302/20-302.pdf #ml#paper

一键安装 LlaMA 的工具来了！ 一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。 这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。 具体安装步骤： 1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具） 2. npx dalai llama 3. npx dalai serve 它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。 https://cocktailpeanut.github.io/dalai/#/ #ml#tools

在单机上可以跑得动 Meta 发布的 LLaMA 模型。 https://til.simonwillison.net/llms/llama-7b-m2 https://twitter.com/ggerganov/status/1634282694208114690 #ml

https://twitter.com/aieleuther/status/1633971388317941763?s=46 #ml

各家公司 A100 显卡的囤货情况 https://twitter.com/abacaj/status/1634069822764900353 #ml

GPT-4 预计下周发布，是个多模态模型，包括处理视频数据的能力。 https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html #ml

抽时间读了读 openAI API 的使用文档和样例代码，发现这些 API 的威力远比在 ChatGPT 前台展示得要大得多。 感觉ChatGPT API 的开放对于 NLP 任务而言，就像十年前 AlexNet 的出现对于 CV 任务的推动差不多。 ChatGPT 当然不是全知全能，但是如何好好利用 ChatGPT （比如 fine tuning）可能是所有开发者都需要好好学习的 https://platform.openai.com/examples https://github.com/openai/openai-cookbook #ml

huggingface 发布了基于 javascript 和 typescript 的框架，可以用这两种语言直接调用 huggingface hub 的 API 。 https://github.com/huggingface/huggingface.js #ml

Weights & Biases 测试了在 M2Pro Mac Mini 上跑深度学习的训练。比前一代的 M1 Pro 快了不少，Tensorflow 大约有 15% 的增长，Pytorch 大约有18%。 结论是，这一代的 Mac Mini 可以拿来写模型原型，但是要想训练，还是需要 N 卡。 https://wandb.ai/capecape/pytorch-M1Pro/reports/Is-the-New-M2Pro-Mac-Mini-a-Deep-Learning-Workstation---VmlldzozNjI3NDE5 之前 M1 系列芯片的各种测试： https://t.me/tms_ur_way/2404 #ml