Search

Results for “多模态”

Total 438 articles

给Agent装上“海马体”!上海AILab开源MemVerse,定义多模态记忆新范式

给Agent装上“海马体”!上海AILab开源MemVerse,定义多模态记忆新范式 (opens in a new tab)

一页纯文本的记忆是看不清世界的。 人与世界的交互天然是多模态的。一张产品设计图、一段用户操作录屏、一次包含语音和演示的线上会议,这些由图像、声音、视频构成的高维业务信息,正成为驱动AI智能体创造价值的关键来源。 当前绝大多数“长期记忆”系统在架构上仍设计为纯文本的记忆库。但智能体的“记忆”不应该是扁平的文本日志,而是一个能够记录并关联 “在何时、看到了何物、讨论了何事” 的多维体验图谱。这种跨模态、跨时间的记忆关联与融合能力,是智能体从被动工具进化为智能助手的关键要素。 为了攻克这一挑战,上海人工智能实验室正式开源MemVerse—首个面向智能体的通用多模态记忆框架。它突破性地将图像、音频、视

AI guides
0
ICML 2026 Spotlight | 直面「模态缺失」挑战:北大彭宇新团队联合福大柯逍团队提出LIMSSR,面向训练阶段不完整观测的精准评价

ICML 2026 Spotlight | 直面「模态缺失」挑战:北大彭宇新团队联合福大柯逍团队提出LIMSSR,面向训练阶段不完整观测的精准评价 (opens in a new tab)

本文是北京大学彭宇新教授团队联合福州大学柯逍教授团队在细粒度多模态动作质量评价领域的最新研究成果,相关论文已被 ICML 2026 接收为 Spotlight,并已开源。真实世界中的多模态数据往往并不完整。在动作质量评价任务中,视频、光流、音频等模态能够从不同角度描述动作执行过程,但在实际采集时,传感器故障、环境噪声、隐私限制等因素都会导致模态缺失。

AI guides
0
破解多模态大模型“选择困难症”!内部决策机制首次揭秘:在冲突信息间疯狂"振荡"

破解多模态大模型“选择困难症”!内部决策机制首次揭秘:在冲突信息间疯狂"振荡" (opens in a new tab)

多模态大语言模型(MLLMs)在处理来自图像和文本等多种来源的信息时能力强大 。 然而,一个关键挑战随之而来:当这些模态呈现相互冲突的信息时(例如,图像显示一辆蓝色汽车,而文本描述它为红色),MLLM必须解决这种冲突 。模型最终输出与某一模态信息保持一致的行为,称之为“模态跟随”(modality following)

AI guides
0
AI 真能看懂物理世界吗?FysicsWorld:填补全模态交互与物理感知评测的空白

AI 真能看懂物理世界吗?FysicsWorld:填补全模态交互与物理感知评测的空白 (opens in a new tab)

近年来,多模态大语言模型正在经历一场快速的范式转变,新兴研究聚焦于构建能够联合处理和生成跨语言、视觉、音频以及其他潜在感官模态信息的统一全模态大模型。此类模型的目标不仅是感知全模态内容,还要将视觉理解和生成整合到统一架构中,从而实现模态间的协同交互。

AI guides
0
刚刚,DeepSeek-V4多模态模型开源

刚刚,DeepSeek-V4多模态模型开源 (opens in a new tab)

DeepSeek-V4-Flash-Vision-Exp多模态模型正式开源,该模型为DeepSeek-V4系列首个实验性多模态模型,基于DeepSeek-V4-Flash架构集成视觉模块,在真实世界软件工程测试DeepSWE中以59.3%反超Opus-4.8登顶,并在零样本视觉推理测试ZeroBench中击败Opus-4.8。

AI news
0
独家|混元多模态理解负责人胡瀚离职创业,原团队或将聚焦世界模型

独家|混元多模态理解负责人胡瀚离职创业,原团队或将聚焦世界模型 (opens in a new tab)

独家获悉,近期,腾讯混元多模态理解负责人胡瀚提出了离职。此前,他曾担任微软亚洲研究院视觉计算组首席研究员。2025年初加入腾讯后,负责视觉大模型的研究。在后续的调整中,他加入大语言模型部旗下的“Frontier”前沿技术研究组,负责多模态理解的相关研究,汇报给姚顺雨。

AI news
0