
对话香港理工秦浩桐:把AI大模型压到极限之后(在新窗口打开)
DeepTech 与秦浩桐讨论模型极限压缩、训练后量化与真实设备上的推理延迟,回顾 BiLLM 的研究思路,并谈到如何用硬件测试、代码核对和实验反馈判断效率研究的价值。
共 2 篇

DeepTech 与秦浩桐讨论模型极限压缩、训练后量化与真实设备上的推理延迟,回顾 BiLLM 的研究思路,并谈到如何用硬件测试、代码核对和实验反馈判断效率研究的价值。

面对大模型规模与硬件内存之间高达20倍的算力鸿沟,不重训的“1比特量化”如何把千亿参数的硅基大脑塞进微型设备?