天下模子元年启示录：念头、乱战与暗礁
文 | 字母 AI小时间有个魔性广告，，，，，，叫 " 今年过节不收礼，，，，，，收礼只收脑白金 "。 。。 。。。于是履历过谁人年月的人，，，，，，通常把 " 补脑 " 和 " 脑白金 " 绑定在了一起。 。。 。。。至于这玩意儿究竟有没有用？？ ？？？？这我欠好说。 。。 。。。20 多年已往了，，，，，，AI 时代到来，，，，，，我突然发明，，，，，，现在的 AI 也最先吃 " 脑白金 " 了。 。。 。。。你有没有类似的履历。 。。 。。。好比说跟某个 AI 聊到第 30 轮，，，，，，它突然 " 失忆 " 了。 。。 。。。你前面刚说过的需求，，，，，，它转头就忘得一干二净。 。。 。。。你用 Claude 写了一下昼代码，，，，，，第二天重新翻开，，，，，，它对昨天的使命毫无印象，，，，，，你问它某个代码，，，，，，它只能重新过一遍代码库再回覆你。 。。 。。。整个 AI 行业，，，，，，苦这个系统性 " 晚年痴呆症 " 久矣。 。。 。。。于是，，，，，，一个新兴工业降生了。 。。 。。。从外挂层、系统层、模子层给 AI 喂 " 赛博脑白金 "。 。。 。。。好比在 GitHub 上已经有 5 万多颗星的 Claude-Mem，，，，，，尚有 DeepSeek DSA、阿里的 Qwen3-Next 这样的底层架构优化，，，，，，整个工业都在猖獗给 AI 增添影象力。 。。 。。。AI 再智慧，，，，，，记不住事儿也白搭。 。。 。。。那么 2026 年，，，，，，究竟都有哪些 " 赛博脑白金 " 在给 AI 补脑，，，，，，它们各自的配方又是什么？？ ？？？？01 ?赛博脑白金产品图鉴压缩式影象管理是第一种思绪，，，，，，焦点逻辑是把长篇大论酿成 " 小作文 "。 。。 。。。虽然和咱们贴吧论坛看到的那些小作文一定纷歧样了，，，，，，这种 " 小作文 " 是给大模子看的，，，，，，只有上下文中的要害信息。 。。 。。。这类产品不是扩大 AI 的影象容量，，，，，，而是让同样的空间装下更多工具。 。。 。。。就像你整理行李箱一样，，，，，，你把衣服揉成团，，，，，，你可能只塞得下几件衣服，，，，，，但你要是叠好了再放进去，，，，，，就能塞许多衣服。 。。 。。。Claude-Mem 是这个领域最火的产品。 。。 。。。这个项目在 2025 年底宣布，，，，，，到现在 GitHub 上已经有 5 万多颗星了。 。。 。。。它专门为 Claude Code 设计，，，，，，解决的就是影象太短的问题。 。。 。。。Claude-Mem 的做法很巧妙，，，，，，它通过 5 个生命周期钩子自动捕获你和 AI 的所有对话，，，，，，然后用 AI 自己来压缩这些信息。 。。 。。。唬�；；；；峄白钕仁奔釉厍崃考端饕�，，，，，，需要时再睁开详细内容，，，，，，模拟人类影象的事情方法。 。。 。。。这种 " 渐进式披露 " 的设计很智慧。 。。 。。。你不需要一次性把所有历史对话都塞进上下文窗口，，，，，，而是先看个目录，，，，，，需要哪部分再调出来。 。。 。。。它这个做法就像我写文章讲故事，，，，，，你不可一上来就把事情都说了，，，，，，你得先说个时间线，，，，，，几多几多年间，，，，，，然后再说谁人时间段爆发的事。 。。 。。。类似的手艺尚有 LongLLMLingua 和 Acon。 。。 。。。LongLLMLingua 通过提醒词压缩实现高达 20 倍的压缩率，，，，，，特殊适合那些只能通过 API 挪用、看不到内部结构的黑盒模子。 。。 。。。Acon 则更进一步，，，，，，它在自然语言空间里做压缩优化，，，，，，在 AppWorld 等基准测试中把内存使用降低了 26% 到 54%，，，，，，同时基本不影响使命体现。 。。 。。。这些工具实质上都在做统一件事，，，，，，用更少的 token 说更多的话。 。。 。。。但压缩终究有极限，，，，，，你再怎么压缩，，，，，，到最后至少得保存基本信息。 。。 。。。这时间就需要第二种思绪，，，，，，外挂式影象系统。 。。 。。。若是说压缩是 " 节约 "，，，，，，外挂心忆就是 " 开源 "。 。。 。。。这类系统不再试图把所有工具塞进 AI 的上下文窗口，，，，，，而是在模子外部建设一个自力的影象客栈。 。。 。。。需要的时间，，，，，，AI 可以自动去这个客栈里翻找相关信息。 。。 。。。Mem0 是这个偏向的代表作品。 。。 。。。它接纳动态提取、整合和检索的架构，，，，，，把对话中的要害信息存储到外部数据库。 。。 。。。需要时通过语义相似度检索相关影象。 。。 。。。实验数据显示，，，，，，Mem0 在 LOCOMO 基准测试中比 OpenAI 的影象系统提升了 26%，，，，，，同时响应时间降低 91%, token 使用量镌汰 90% 以上。 。。 。。。LOCOMO 是现在较有代表性的恒久对话影象基准之一。 。。 。。。它包括单跳问题、时序问题、多跳问题和开放域问题四大类。 。。 。。。单跳问题磨练 AI 能否记着单个事实，，，，，，多跳问题则要求 AI 综合多次对话中疏散的信息。 。。 。。。Mem0 在多跳问题上的 F1 分数抵达 28.64，，，，，，J 分数 51.15，，，，，，显着凌驾其他计划。 。。 。。。这说明它不但是能记着零星的事实，，，，，，还能把这些事实串联起来。 。。 。。。更有意思的是 MemGPT，，，，，，不过它现在已经改叫 Letta 了。 。。 。。。它的事情原理是把 LLM 视为操作系统，，，，，，实现类似盘算机虚拟内存的分层管理。 。。 。。。跟苹果 Mac 用的贮存手艺原理一样，，，，，，当物理内存不敷用时，，，，，，系统会把暂时不必的数据挪到硬盘上，，，，，，需要时再调回来。 。。 。。。MemGPT 把这套逻辑搬到了 AI 影象管理上。 。。 。。。它通过显式的读写操作让模子自主管理内存，，，，，，在事情影象、短期影象和恒久影象之间无邪调理。 。。 。。。这个设计的精妙之处在于，，，，，，它不是人为划定什么该记什么该忘，，，，，，而是让 AI 自己决议。 。。 。。。AI 可以挪用函数把目今不主要的信息写入外部存储，，，，，，也可以在需要时把旧影象读回上下文窗口。 。。 。。。这种自主管理能力让 AI 的影象系统跟我们是一样的。 。。 。。。我们也不是把所有履历都时刻记在脑子里，，，，，，而是需要时才起劲回忆。 。。 。。。唬�；；；Ｉ杏� Zep、Second Me、Cognee 等一系列产品，，，，，，它们各有特色但殊途同归，，，，，，都是在模子的牢靠上下文窗口之外构建可扩展的外部影象层。 。。 。。。第三种思绪叫做软提醒编码。 。。 。。。这种要领不存储文本，，，，，，而是把提醒词编码成一连的可训练嵌入或键值对。 。。 。。。像是 500xCompressor 这样的架构，，，，，，能通过软提醒编码实现了高达 480 倍的压缩率。 。。 。。。这个手艺的实质是给 AI 发明一套 " 旗号 "。 。。 。。。就像 " 今晚老地方 " 这句话一样，，，，，，这是只有你和你朋侪之间才懂的梗，，，，，，一个眼神、一个词就能想到一块去。 。。 。。。软提醒编码也是这样，，，，，，用几个特殊 token 就能让模子追念起大段内容。 。。 。。。这些特殊 token 在人类看来毫无意义，，，，，，但对模子来说，，，，，，它们是高度浓缩的信息载体。 。。 。。。这种要领的压缩率远超前两种，，，，，，但也有显着的局限。 。。 。。。这些编码后的 " 旗号 " 只对训练过的特定模子有用，，，，，，换个模子就不熟悉了。 。。 。。。并且编码历程需要特另外训练本钱，，，，，，不像前两种要领那样即插即用。 。。 。。。以是软提醒编码更适合那些恒久使用统一个模子、对压缩率要求极高的场景。 。。 。。。这三种外挂式的解决计划各有千秋。 。。 。。。压缩式影象管理实现简朴，，，，，，本钱低，，，，，，但压缩率有上限。 。。 。。。外挂式影象系统容量险些无限，，，，，，但需要特另外数据库和检索机制。 。。 。。。软提醒编码压缩率最高，，，，，，但无邪性最差。 。。 。。。现实应用中，，，，，，许多产品会把这几种要领团结起来，，，，，，在差别场景下选择最合适的战略。 。。 。。。但这些终究是 " 打补丁 "。 。。 。。。它们在模子外部做文章，，，，，，没有触及问题的泉源。 。。 。。。真正的突破，，，，，，需要从模子架构自己下手。 。。 。。。02 ?从架构层面动刀子前面说的那些计划，，，，，，它们能缓解影象问题，，，，，，却无法根治。 。。 。。。由于问题的泉源在 Transformer 架构自己是有缺陷的，，，，，，注重力机制的盘算重漂后是序列长度的平方。 。。 。。。上下文窗口每扩大一倍，，，，，，盘算本钱就翻四倍。 。。 。。。这不是工程优化能解决的，，，，，，需要从数学原理上重新设计。 。。 。。。DeepSeek Sparse Attention（DSA）是这个偏向的代表性突破。 。。 。。。DSA 在 2025 年随 DeepSeek-V3.2-Exp 一起宣布，，，，，，焦点头脑是 " 不是所有 token 都需要相互看 "。 。。 。。。古板的全量注重力机制里，，，，，，每个 token 都要和序列中的所有其他 token 盘算注重力分数。 。。 。。。这在短序列里没问题，，，，，，但当上下文窗口扩展到几十万 token 时，，，，，，盘算量就变得不可接受了。 。。 。。。DSA 接纳两阶段设计：先用一个轻量级的 " 索引器 " 快速评估哪些 token 最相关，，，，，，然后只对这些精选出来的 token 做完整的注重力盘算。 。。 。。。焦点注重力盘算从对所有 token 做精算，，，，，，酿成只对 top-k 候选做精算；；；；；；索引器仍要扫描候选历史，，，，，，但用更轻量的低维 / 低精度方法降低本钱。 。。 。。。要害在于，，，，，，这种希罕化是动态的、基于内容的。 。。 。。。不像有些要领只看牢靠窗口内的 token 或随机采样，，，，，，DSA 会凭证现实内容决议哪些 token 主要。 。。 。。。说白了，，，，，，就是让 AI 先快速扫一遍所有内容，，，，，，找出跟目今问题最相关的那些部分，，，，，，然后只仔细看这些重点。 。。 。。。就像你看书找资料一样，，，，，，你不可能逐字逐句读，，，，，，你会先翻目录和要害词，，，，，，定位到相关章节再去仔细阅读。 。。 。。。这让它在大幅降低盘算量的同时，，，，，，险些不损失模子性能。 。。 。。。在种种推理使命和智能体情形的测试中，，，，，，DSA 的体现和全量注重力基本持平。 。。 。。。另一个主要偏向是混淆注重力架构。 。。 。。。这个思绪以为，，，，，，不是所有层都需要腾贵的全量注重力。 。。 。。。大部分层可以用更自制的线性注重力或状态空间模子，，，，，，只在要害位置保存全量注重力。 。。 。。。阿里的 Qwen3-Next 在 2025 年 9 月宣布，，，，，，焦点是 Hybrid Attention 机制。 。。 。。。它用 Gated DeltaNet 加 Gated Attention 替换古板全量注重力，，，，，，原生支持 256K 上下文，，，，，，理论上可扩展到 100 万 token。 。。 。。。Gated DeltaNet 是一种线性注重力变体，，，，，，盘算重漂后从平方降到线性。 。。 。。。但纯粹的线性注重力在某些使命上体现不如全量注重力，，，，，，以是 Qwen3-Next 接纳 3:1 的混淆比例。 。。 。。。每 3 层用 Gated DeltaNet，，，，，，1 层用 Gated Attention。 。。 。。。这个设计很智慧。 。。 。。。线性注重力层认真处置惩罚大部分的上下文信息，，，，，，本钱低但能力稍弱。 。。 。。。全量注重力层则在要害位置做细腻的全局建模，，，，，，本钱高但效果好。 。。 。。。两者配合，，，，，，既包管了性能，，，，，，又大幅降低了盘算开销。 。。 。。。官方数据显示，，，，，，Qwen3-Next-80B-A3B-Base 相比 Qwen3-32B-Base，，，，，，在凌驾 32K 上下文时有 10 倍推理吞吐优势。 。。 。。。月之暗面的 Kimi Linear，，，，，，接纳 Kimi Delta Attention 加全局 MLA，，，，，，也是 3:1 比例的混淆架构。 。。 。。。Kimi Delta Attention 实质上是对 Gated DeltaNet 的刷新。 。。 。。。在 100 万 token 场景下，，，，，，KV cache 最多镌汰 75%，，，，，，解码吞吐最高提升 6 倍。 。。 。。。这些混淆架构的配合点是，，，，，，他们都把长上下文处置惩罚从 " 每个 token 都相互看一遍 " 改成 " 大都层用更自制的影象状态，，，，，，少数层保存全局注重力 "。 。。 。。。唬�；；；；桓鏊捣�，，，，，，你开车得用导航吧？？ ？？？？大部分时间你只需要看着前方蹊径和路标往前走，，，，，，这是 " 自制的影象状态 "。 。。 。。。但到了重亨衢口，，，，，，有行人、有电摩托车、可能尚有适才爆发追尾的事故车，，，，，，这时间你就得仰面看整个路况、回忆来时的路、判断该往哪拐，，，，，，因此你需要 " 全局注重力 "。 。。 。。。不是每一秒都要动用所有脑力，，，，，，而是只在要害节点才全力思索。 。。 。。。这不是简朴的性能妥协，，，，，，这是在对注重力机制实质举行重新思索。 。。 。。。AI 并不需要时刻记着所有细节，，，，，，只需要在要害决议点做全局审阅。 。。 。。。然而当下最盛行的玩法，，，，，，还得是硬件与算法协同优化。 。。 。。。再好的算法，，，，，，若是硬件跟不上，，，，，，也施展不出所有威力。 。。 。。。英伟达在 GTC 2026 上宣布的 BlueField-4 CMX 平台就是这个偏向最具代表性的产品。 。。 。。。这是一个专门为 " 百万级 token 上下文 " 时代设计的上下文影象存储平台。 。。 。。。古板 GPU 的显存带宽虽然高，，，，，，但容量有限。 。。 。。。当上下文窗口扩展到几十万甚至上百万 token 时，，，，，，KV cache 的巨细会凌驾单张 GPU 的显存容量。 。。 。。。BlueField-4 CMX 通过专用的内存扩展硬件，，，，，，在坚持高带宽的同时大幅扩展容量。 。。 。。。它接纳分层存储架构，，，，，，把热数据放在 GPU 显存，，，，，，温数据放在扩展内存，，，，，，冷数据放在系统内存或 SSD，，，，，，通过智能调理实现大容量支持。 。。 。。。好比说 GPU 显存是你的事情台，，，，，，它空间有限。 。。 。。。BlueField-4 CMX 就相当于在这个事情台旁边加了个置物架，，，，，，常用的工具放台面，，，，，，无意用的放第一层架子，，，，，，不常用的放更远的柜子。 。。 。。。需要时系统自动帮你把工具拿过来，，，，，，你感受不到区别，，，，，，但现实上能放的工具多了几十倍。 。。 。。。像亚马逊的 Trainium 芯片，，，，，，谷歌的 TPU，，，，，，现在 AI 芯片的开发商，，，，，，都会和大模子厂商配合研发下一代芯片，，，，，，其缘故原由就在于能让芯片专业对口，，，，，，知足模子的各项需求，，，，，，进而抵达更好的训练以及推理效果。 。。 。。。03 ?影象，，，，，，AGI 最后一块拼图目今的 AI 影象系统缺乏人类影象的要害特征。 。。 。。。人类影象有遗忘机制，，，，，，不主要的细节会自然淡化。 。。 。。。人类影象有牢靠历程，，，，，，主要的履历会在