
数据集蒸馏,连发两篇顶会!10%样本实现全量性能,鲁棒不失真 (opens in a new tab)
数据集蒸馏是一种用少量合成数据替代全量数据训练模型的技术,能让模型高效又节能。WMDD和GUARD两项研究分别解决了如何保留原始数据特性并提升模型对抗扰动能力的问题,使模型在少量数据上训练时既准确又可靠。
Total 86 articles

数据集蒸馏是一种用少量合成数据替代全量数据训练模型的技术,能让模型高效又节能。WMDD和GUARD两项研究分别解决了如何保留原始数据特性并提升模型对抗扰动能力的问题,使模型在少量数据上训练时既准确又可靠。

1.58bit量化,内存仅需1/10,但表现不输FP16? 微软最新推出的蒸馏框架BitNet Distillation(简称BitDistill),实现了几乎无性能损失的模型量化。

晚点走访数据生产者、供应商和模型团队,梳理专家怎样把工作任务、示范、操作轨迹和评分标准做成训练数据。文章也讨论采购独占、数据合规、自动扩写与标注劳动的报酬。

据报道,英伟达相关团队及Pika基于MiniMax H3探索高分辨率再生成和少步推理。文章同时分析其社区许可与单独商业授权路径;开放权重并不等于在所有地区、所有商业规模下均可免费使用。

报道结合财报、合同披露及知情人士信息,讨论 Anthropic 租用 SpaceX 算力的规模与扩容安排。算力合作与双方模型竞争同时存在,但财务关系本身不能证明为何公开表态有所取舍;“因担心断电而不指责蒸馏”是作者推断,不是已证实的动机。

World-T³ 以相机位姿索引快速权重,在生成过程中写入和检索历史场景,并通过双教师蒸馏兼顾交互速度。报道介绍重访测试及工程优化,也保留位姿估计误差和超长生成细节退化的限制。

LAR 将重复、稳定的多步动作表示为可学习的潜在动作,尝试减少 Agent 完成任务所需的生成步骤。原文介绍动作词表学习、轨迹蒸馏与实验结果,并讨论过度压缩具体参数可能损害任务表现的边界。

LLM智能体如何在部署过程中,通过自身执行持续进化?

王琰在 TraceForge 技术报告中提出用同族模型合成原生思维链,在 Qwen3.5-9B-Base 实验中超过直接蒸馏 Claude Fable 5 思维链的方案,动摇闭源模型以隐藏思维链构筑的能力护城河。

今年春天,一台台黄色飞机停在机场,它们的公司 Spirit Airline 宣布破产,这些飞机将永远不再起飞。 这是一家廉价航空,已经连续几年经营不善,直到伊朗战争及霍尔木兹海峡运输受阻,令航空燃油价