Search

Results for “CLIP”

Total 19 articles

FG-CLIP 2: 为细粒度跨模态理解而生的下一代VLM,8大类29项任务双语性能全球第一

FG-CLIP 2: 为细粒度跨模态理解而生的下一代VLM,8大类29项任务双语性能全球第一 (opens in a new tab)

在 AI 多模态的发展历程中,OpenAI 的 CLIP 让机器第一次具备了“看懂”图像与文字的能力,为跨模态学习奠定了基础。如今,来自 360 人工智能研究院冷大炜团队的 FG-CLIP 2 正式发布并开源,在中英文双语任务上全面超越 MetaCLIP 2 与 SigLIP 2,并通过新的细粒度对齐范式,补足了第一代模型在细节理解上的不足。

AI guides
0
RAE的终极形态?北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑

RAE的终极形态?北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑 (opens in a new tab)

统一多模态模型要求视觉表征必须兼顾语义(理解)和细节(生成 / 编辑)。早期 VAE 因语义不足而理解受限。近期基于 CLIP 的统一编码器,面临理解与重建的权衡:直接量化 CLIP 特征会损害理解性能;而为冻结的 CLIP 训练解码器,又因特征细节缺失而无法精确重建。例如,RAE 使用冻结的 DINOv2 重建,PSNR 仅 19.23。

AI guides
0
逆了个大天!负责人亲自下场,教大家反代Codex

逆了个大天!负责人亲自下场,教大家反代Codex (opens in a new tab)

这事听着像钓鱼帖,但偏偏是真的。 7月12日,Codex团队负责人Tibo转发了一份教程,教用户如何通过CLIProxyAPI,把Codex订阅里的GPT-5.6 Sol接进Claude Code。 对,就是Anthropic家的Claude Code。 这里的“薅”,指把ChatGPT订阅里能用的模型,接到自己更顺手的客户端上。调用仍然走你自己的账号和OpenAI的服务端。 道理虽不复杂,画面依然非常抽象。 Tibo的原话大意是:如果你还没大胆到安装Codex应用,可以留在你的橙色螃蟹(cc),把它的内核变成GPT-5.6 Sol,只需5分钟。 步骤一共3步:装CLIProxyAPI,连接C

AI news
0
腾讯纯文本LLM训视觉encoder,拿捏图表长视频,达到开源小模型SOTA!

腾讯纯文本LLM训视觉encoder,拿捏图表长视频,达到开源小模型SOTA! (opens in a new tab)

打破多模态视觉+语言拼接套路! 腾讯开源Penguin-VL,直接用纯文本LLM训视觉编码器。 这项研究跳出了先有传统视觉 backbone,再接语言模型的常规路径,直接从text-only LLM初始化vision encoder。 并在2B/8B紧凑参数规模下的文档理解、长视频时序定位等复杂任务中表现出极强竞争力。 从LLM出发的视觉编码器重构 如果把这两年的多模态模型拆开看,一个很有意思的现象是: 大家在语言模型上卷得很凶,但到了vision encoder这一层,路线却出奇一致。 很多VLM最后都会回到那套熟悉配方,先拿CLIP、SigLIP这类通过对比学习训出来的视觉模型做encod

AI guides
0
苹果最新模型,5年前的iPhone能跑

苹果最新模型,5年前的iPhone能跑 (opens in a new tab)

智东西9月1日消息,苹果又公布了大模型研发新进展! 8月28日,苹果在arXiv发布新论文,介绍新一代多模态基础模型MobileCLIP2及其背后的多模态强化训练机制,同天在GitHub、Hugging Face上开源了模型的预训练权重和数据生成代码。

AI guides
0