内容栏目

AI技术文章

分享不同 AI 工具、模型与相关技术的使用方法和实践文章。

LLM越狱攻击的威胁被系统性高估? 基于分解式评分的「越狱评估新范式」出炉

LLM越狱攻击的威胁被系统性高估? 基于分解式评分的「越狱评估新范式」出炉(在新窗口打开)

可惜,目前 LLM 越狱攻击(Jailbreak)的评估往往就掉进了这些坑。常见做法要么依赖关键词匹配、毒性分数等间接指标,要么直接用 LLM 来当裁判做宏观判断。这些方法往往只能看到表象,无法覆盖得分的要点,导致评估容易出现偏差,很难为不同攻击的横向比较和防御机制的效果验证提供一个坚实的基准。

AI技术文章
1
RL微调,关键在前10%奖励!基于评分准则,Scale AI等提出新方法

RL微调,关键在前10%奖励!基于评分准则,Scale AI等提出新方法(在新窗口打开)

大模型强化学习总是「用力过猛」?Scale AI联合UCLA、芝加哥大学的研究团队提出了一种基于评分准则(rubric)的奖励建模新方法,从理论和实验两个维度证明:要想让大模型对齐效果好,关键在于准确区分「优秀」和「卓越」的回答。这项研究不仅揭示了奖励过度优化的根源,还提供了实用的解决方案。

AI技术文章
1
从掩码生成到「再掩码」训练:RemeDi让扩散语言模型学会自我纠正与反思

从掩码生成到「再掩码」训练:RemeDi让扩散语言模型学会自我纠正与反思(在新窗口打开)

近期,扩散语言模型备受瞩目,提供了一种不同于自回归模型的文本生成解决方案。为使模型能够在生成过程中持续修正与优化中间结果,西湖大学 MAPLE 实验室齐国君教授团队成功训练了具有「再掩码」能力的扩散语言模型(Remasking-enabled Diffusion Language Model, RemeDi 9B)。

AI技术文章
0
当Search Agent遇上不靠谱搜索结果,清华团队祭出自动化红队框架SafeSearch

当Search Agent遇上不靠谱搜索结果,清华团队祭出自动化红队框架SafeSearch(在新窗口打开)

在 AI 发展的新阶段,大模型不再局限于静态知识,而是可以通过「Search Agent」的形式实时连接互联网。搜索工具让模型突破了训练时间的限制,但它们返回的并非总是高质量的资料:一个低质量网页、一条虚假消息,甚至是暗藏诱导的提示,都可能在用户毫无察觉的情况下被模型「采纳」,进而生成带有风险的回答。

AI技术文章
0

参与交流

查看 AINRK 交流群说明

了解加入交流群的方式,阅读内容无需登录。

查看交流群说明(在新窗口打开)