Post #966

无奈的 AI 进展丨GPT 记忆扩展 如果文本生成 AI 以原有训练数据为基础进行聊天对话作为第一阶段，那么这种文本 AI 第二阶段着力可能是更定制和私有化的进行「记忆扩展」式文档等聊天。 这是明显的原子化趋势，AI 最初从整个互联网文本池捞出个人数据进行训练，这种成效是以简单的 Chat 模式进行低创造的文本生成和垃圾生产。由于 LLM 的运作模式， 「思维链 CoT」等计算机思考范式，导致这种生成对话体验受限很多，所以 AI 相关产品不断地提高这种记忆长度，回溯链，扩展语言模型的吞吐。 这样的好处是可以用于更长文本的记忆生成复刻我们语言表征的个体或者象征的表象世界。如 Character AI/ ChatPDF/ 100K/个人知识库笔记（如最近谷歌推出的 AI 驱动笔记软件 NotebookLM）等理念都受益于语言模型的记忆长度扩展，而也只是更多的 Token 和记忆，更长的文档。模型的智能进化好像也只停留在更准确的代码拉出，更高分的考试测试匹配，这更像是语言模型记忆扩展的派生，不能算智能进步。 这种 AI 记忆扩展是当下语言模型无奈的进展，可能永远无法达到某种涌现的程度。就像只是在喜马拉雅山顶多铺了几台预测神名字的机器，更多猴子和键盘指向莎士比亚的文本，这种机器并不能达到摆脱作为工具的 AGI 智能。 或者，我们已经处于模拟的模拟边界，只是我们人类无法苛求机器与我们通过相同的思考范式得出结果，就像你无法回答潜水艇能不能像人类游泳一样。如此而言，AGI 的火花确实存在，只是不能叫 AGI，叫人工集成智能 AEI（Artificial Ensemble Intelligence）可能更匹配，区别于人类思考范式的而实存的机器智能。 这种模拟的模拟即是本体论的试探，无论我们人类还是机器都一样的处境，就像最近马斯克新公司 xAI 的目标是想要了解宇宙的真实本质，我们确实无法证明我们是否也困在模拟中，更无从知晓我们是否也是 awful Joan. Reference AI 时代的互联网阅读丨注意力/收敛/存在危机 我对人工智能自主意识（AGI）的看法 关于特德姜压缩互联网的看法 #AI#thoughts