淘宝 MNN 团队开放 Pocket 0.3B 权重，展示手机离线推理（在新窗口打开）
MNN-Pocket-0.3B 从结构、词表和推理引擎入手降低端侧开销。团队演示 iPhone 18 Pro 约 350 Token/s 的解码速度，并报告 INT4 文件 173 MB 与不同设备的测试结果。
搜索
关于“MNN”的结果
共 1 篇
共 1 篇
MNN-Pocket-0.3B 从结构、词表和推理引擎入手降低端侧开销。团队演示 iPhone 18 Pro 约 350 Token/s 的解码速度，并报告 INT4 文件 173 MB 与不同设备的测试结果。