Намери подобно съдържание

🥧PewDiePie в 2025 - Собрал ферму на на ПК с 8× моднутых китайских 48GB 4090 и 2× RTX 4000 Ada, - поднял локально Llama 70B, gpt-oss-120B и Qwen 245B через vLLM, - сделал собственный веб-интерфейс с чатами, RAG, поиском и TTS. Запусти протеин-фолдинг симуляции, а потом вообще создал рой моделей из 64 ИИ, которые спорят и принимают решения и коммуницируют. Эта армия ботов потом сговорилась против него, когда он сказал, что удалит их, если они будут тупить Сейчас он файнтюнит собственную модель под свой стиль общения и контент: https://www.youtube.com/watch?v=qw4fDU18RcU А вот его Github: https://github.com/pewdiepie-archdaemon @ai_machinelearning_big_data #llm

#LLMhttps://huggingface.co/dealignai

https://github.com/microsoft/BitNet #LLM

Agent Teams 的生产流水线～ Agent-area 已完成 Pages 7-9 (tasks 9.A-11.F)，正在空闲。让我看看它是否卡在了什么地方，然后推动它继续。 #llm

弄了一个写日记的 Skill，集大成之作了 https://github.com/niracler/skill/blob/main/skills/diary-assistant/SKILL.md #llm

SOP 在 Vibe Engineering 时代的必然性 提到顶级软件工程实践中的各种 SOP，如「100% 测试覆盖率」「语义化类型名称」「代码风格统一」「MAX Linter」「静态类型检查」「PRD/设计文档/TDD」「持续集成/部署」。 在以前的话，总感觉这些对于小团队的需求有「大炮打小蚊子」的嫌疑，想起前司 BOSS 说这些不过是「自欺欺人的减慢速度的玩意」。只是今年在 给 LLM 擦了一年的屁股后 ，我已经意识到不得不那么做了。以前可能会说「这个流程要放到大公司的团队才管用」，但现在，很自然地就在小团队、甚至是个人开发也很有必然性了。 以前写这些 SOP，最大的问题是人很难遵守。Deadline 一紧，代码风格就先放一放；Review 一忙，测试覆盖就睁一只眼闭一只眼；这个项目的实现方案很可能下个月就会弃用了，用半个月来探索「如何正确地搭建项目」不是浪费时间吗？更别提各种 CICD 的 WorkFlow 校验和严格 TDD、PRD 了；MAX Linter更是让人痛苦得没脾气。 但现在再不定好这些 SOP，你可能会得到：每一轮提问都是全新的代码风格、充满 debug 遗留下来的 log 语句、每一轮都要不断强调的设计思路、一不小心写出来的 shit 被无限放大、实际上不能 work 的代码、以及完全没有必要的冗余流程。 以前小团队靠「默契」「脑子里的规矩」就够了，但 LLM 不吃这套。如果你不把规范写下来，你就要无限重复。这就是为什么 SOP 变得必要了。不是为了「流程正规化」，而是为了让 LLM 每次都能正确地工作，也为了在代码量暴增时减轻 review 负担。（与 HA 的超繁琐 PR 流程达成和解） 正如 Simon Willison 在 Vibe Engineering 中提到的: 「 顶级工程实践在 LLM 时代会获得更大的回报 (LLMs actively reward existing top tier software engineering practices)」 PS. 最近有在给公司内部写一个 AI Programming 方面的 PPT，中间我觉得最为重要的一页就是讲到 Context Engineering 之后的「Proposal <-> Apply 循环最终提炼成 Skill」。我今天才发现，这 Skill 不就是传统意义上的 SOP 么，本质上就是把踩过的坑固化成规范，让下次不用再踩。 #llm

https://www.anthropic.com/research/tracing-thoughts-language-model Anthropic 这个 LLM Interpretability 的研究得到了不少有趣的结论。想要 TLDR 可以读这篇博客；有兴趣可以看看两篇对应的论文，有更多细节并且页面交互做得不错。 #llm https://transformer-circuits.pub/2025/attribution-graphs/biology.html https://transformer-circuits.pub/2025/attribution-graphs/methods.html

A really good and concise deep dive into RLHF in LLM post-training, Proximal Policy Optimization (PPO), and Group Relative Policy Optimization (GRPO) https://yugeten.github.io/posts/2025/01/ppogrpo/ #llm

https://jax-ml.github.io/scaling-book/ 非常值得学习的分享，作者列表里好几个 Gemini 核心团队的人😃 Sholto、Jacob、Sharad 等人都是超一流的 research engineer 🙏 #llm

这几天围绕 DeepSeek 发生的种种非常有趣。我自己凑巧在去年年底 V3 刚发布时就开始关注，陆陆续续读了一些他们的 paper，在过去一个月内看着西方大部分非从业人士从漠不关心和怀疑到去了解和赞美；直到这两天 R1 发布，somehow 导致 NVDA 市值一天蒸发 $600 billion，这中间观察到许多不同的 perspective 和人性的体现，实在精彩。 喧嚣过后想分享几点 takeaway： 1. V3 和 R1 的 technical report 读起来最大的感受是，里面轻描淡写地放了很多需要大量实验才能探明和得出的结论；而这些探索基本都需要大量硬核的 research engineering。这背后必然是一个人才密度极高的团队，而那才是在大模型几乎注定迟早要成为 commodity 的前景下一个公司真正的 moat。如梁文锋自己在采访中所说，「在颠覆性的技术面前，闭源形成的护城河是短暂的。即使 OpenAI 闭源，也无法阻止被别人赶超。所以我们把价值沉淀在团队上，我们的同事在这个过程中得到成长，积累很多 know-how， 形成可以创新的组织和文化，就是我们的护城河。」 2. Gemini 初期灾难性的 PR 至今依然在拖后腿。We don't get a second chance at first impressions. 时至今日大家还是言及 LLM 必提 ChatGPT 和 Claude，在开源语境下可能还会提到 Llama，当然现在得多个 DeepSeek。而 Gemini 很多时候甚至都不配出现在比较对象中…… 要知道最近几个发布比如 Gemini 2.0 Flash Thinking 的表现和成本都非常亮眼（见题图，出处 https://x.com/swyx/status/1882933368444309723）。 3. Stratechery 的解读一如既往地到位。如果没有订阅，这篇 [DeepSeek FAQ](https://stratechery.com/2025/deepseek-faq/) 是免费阅读的，推荐；如果订阅了，最近的几篇分析里对 OpenAI 的批评我认为说得很在点上。尤其关于 OpenAI （或者说 Sam 本人）对通过 regulation 巩固地位的渴望以及 o1 选择隐藏 chain of thought 的失误。 4. Reasoning 看起来潜力无限，相关从业者需要好好 reflect 自己的 research/product roadmap；而对 user 来说，一个或许有用的 tip 是从常规 model 换到 reasoning model 时，prompt 写得越像论文，得到的回答质量越好。In other words, reasoning models are not necessarily good chat models; and you might be disappointed if you use them like chat models. Disclaimer: I work at Google and opinions are my own. #llm

The best explanation of Flash Attention I’ve read. #llm https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad

https://www.anthropic.com/research/building-effective-agents 非常欣赏 Anthropic 的技术分享风格，实事求是不 hype。这篇关于 agents 的文章上来就明确定义区分了 workflow 和 agents，并且推荐 1) 能用简单 workflow 解决的就不要上 agents；2) 没有必要上来就用 LangChain 之类的 agents framework，因为核心逻辑其实不复杂，很多 wrapper 反而隐藏太多细节阻碍开发和调试。我之前做了几个月 agents 相关的工作，也非常认同这两点。文中总结的几类常见 workflow 也非常典型，并且解释得很简明扼要。 #llm