
搞懂“记忆”必看|吃透Engram,坐等Deepseek新模型 (opens in a new tab)
第一篇论文来自字节SEED团队, 打了一些基础; 《Over-Tokenized Transformer》。 论文标题看上去在讨论“过度分词”。 而重点必然是在第二篇上—— DeepSeek公司的学术成果Engram。 《Conditional Memory via Scalable Lookup》 也就是Engram模块所出处的论文。
Total 42 articles

第一篇论文来自字节SEED团队, 打了一些基础; 《Over-Tokenized Transformer》。 论文标题看上去在讨论“过度分词”。 而重点必然是在第二篇上—— DeepSeek公司的学术成果Engram。 《Conditional Memory via Scalable Lookup》 也就是Engram模块所出处的论文。

ICLR论文STEM架构率先提出「查表式记忆」架构,早于DeepSeek Engram三个月。它将Transformer的FFN从动态计算改为静态查表,用token索引的embedding表直接读取记忆,彻底解耦记忆容量与计算开销。

当大模型公司还在竞争更长的上下文窗口、更强的推理能力和更复杂的 Agent 工作流时,一家名为 Engram 的新公司选择押注另一个问题:AI 能不能像人一样,持续从每天接触到的资料、对话和经验中学习?

Telegram 创始人 Pavel Durov 宣布:Bot 现在可以直接和其他 Bot 对话。更关键的定义是——自主 Agent 从此拥有了一个「人类可旁观」的原生通信层。Bot API 10.0 早在 5 月 8 日就已落地,Durov 用一条帖子把它重新定义为 AI 基础设施,13 万人围观,2300 人点赞。

DeepSeekV4的技术报告里有mHC,有CSA,有HCA,有Muon,有FP4……唯独没有Engram。Engram在今年1月由DeepSeek和北大联合开源,主要研究大模型的记忆与效率问题。

企业微信的「极简」养虾流。 OpenClaw 龙虾能火成这样,有一个很容易被忽略的原因:它可以接进 IM。 这件事听起来好像没什么,但实际体验下来差别特别大。以前用 AI,基本都是在网页端或者 App 里打开一个对话框,你问它答。 但当 OpenClaw 被接进 IM 之后,整个交互感觉变了,它的「活人感」和「主动性」,是以前在 Chatbot 或者网页 Agent 里面,很难做到的。 另一方面,海外最早把 OpenClaw 接进了 Telegram,跑得很顺。但在国内,Telegram 不是主流,需要找自己的 IM 入口。于是各路厂商开始投入资源做接入方案:云服务、魔改版、协作工具继承。 企

美国当地时间1月13日,语音AI公司Deepgram宣布完成1.3亿美元C轮融资。此轮融资后,公司总融资额达到2.15亿美元,估值13亿美元,成为了这一赛道的新晋独角兽。

Agnes AI 在 9 月移动端 App 推出后,增长势能全面爆发:短短两个月新增注册用户 300 万,日活跃用户突破 20 万。而作为对比,Instagram 达到首个百万用户用了 2.5 个月,Snapchat 则耗时 10.5 个月。

上个月 OpenAI 在发布 Sora 2 的同时将其作为独立应用发布,产品一经上线便登顶苹果应用商店榜首的现象级产品。本篇内容是对 Sora 2 的三位核心负责人的访谈:研发负责人 Bill Peebles、产品负责人 Rohan Sahai 以及工程与产品负责人 Thomas Dimson,Dimson 还参与过 Instagram 产品的搭建。

一年一度的英伟达奖学金出炉了。二十五年来,英伟达研究生奖学金计划(NVIDIA Graduate Fellowship Program)一直为研究生提供与英伟达技术相关的杰出工作支持。