Search

Results for “token”

Total 619 articles

听说,大家都在梭后训练?最佳指南来了

听说,大家都在梭后训练?最佳指南来了 (opens in a new tab)

既然后训练这么重要,那么作为初学者,应该掌握哪些知识?大家不妨看看这篇博客《Post-training 101》,可以很好的入门 LLM 后训练相关知识。从对下一个 token 预测过渡到指令跟随; 监督微调(SFT) 基本原理,包括数据集构建与损失函数设计;

AI guides
0
第一性原理视角下的MoE推理的经济学分析

第一性原理视角下的MoE推理的经济学分析 (opens in a new tab)

随着DeepSeek R1、Kimi K2和DeepSeek V3.1混合专家(MoE)模型的相继发布,它们已成为智能前沿领域大语言模型(LLM)的领先架构。由于其庞大的规模(1万亿参数及以上)和稀疏计算模式(每个token仅激活部分参数而非整个模型),MoE式LLM对推理工作负载提出了重大挑战,显著改变了底层的推理经济学。

AI guides
0