AI news

800人实测:AI给你的烂方案,比最优解更值钱

By APPSO2 viewsSource: APPSO
800人实测:AI给你的烂方案,比最优解更值钱

上个月刚充了 ChatGPT Plus,这个月又买了Cursor Pro,OpenClaw 也研究的差不多了。我们对 AI 的期待,说起来非常简单:给最好的方案、最准确的代码、最精确的回答。

The full text has not been translated yet. The Chinese original is shown below.

上个月刚充了 ChatGPT Plus,这个月又买了Cursor Pro,OpenClaw 也研究的差不多了。我们对 AI 的期待,说起来非常简单:给最好的方案、最准确的代码、最精确的回答。

然后我们再用输出质量来评判一个 AI 值不值得续费。

但为什么总觉得 AI 不够好用呢?

Swansea 大学一项迄今最大规模的人机协作创意实验刚刚告诉你:你对 AI 的期待从根上就是错的。

800 个人设计了一辆虚拟汽车

这不是问卷调查,是一个真正的设计任务。研究者开发了一个叫「Genetic Car Designer」的在线工具,放在游戏平台 itch,让参与者设计一辆二维汽车,目标很简单:在 30 秒内跑得越远越好。

车身由多边形顶点定义,轮子有位置、半径、质量、转速和悬挂频率五个自由度。最简单的配置有 9 个可调参数,最复杂的可以到 85 个。

文章配图

系统有两种 AI 建议模式。一种是 MAP-Elites 算法驱动的方案,按速度、轮径、几何形状三个维度,展示一系列多样化的设计方案。这些方案里有高性能的、有奇怪的,也有明显跑不远的。另一种是随机历史记录,什么设计都有,毫无章法,充当对照组。

参与者可以自由选择看不看这些建议,用不用它们。没有强制流程,没有规定时间,随时可以退出。实验设计的精妙之处在于:它不告诉你 AI 在帮你,只是把方案摆在那里,看你怎么反应。

808 个有效 session 里,50%的参与者完全是被动的。打开工具后就让算法自己跑,全程不参与。36%只用了设计编辑器,手动调参数。只有 14%打开了 AI 方案并且与之互动。

但这 14%的人,产出了最好的设计。

看到「烂设计」的人,反而做得更好

数据很清楚。看过至少一个 AI 方案的人,平均在任务上花了 22.5 分钟,是没看过方案的人(9.4 分钟)的 2.4 倍。设计质量提升幅度达到 373%,将近没看方案的人(197%)的两倍。主动跟方案互动、选取设计反馈给算法的人,提升更是高达 420%,是纯被动参与者(124%)的 3.4 倍。所有比较均通过了严格的统计检验(Mann-Whitney U, p<0.002)。

更有意思的是 MAP-Elites 方案和随机方案之间的对比。参与者在两种方案上花的观看时间没有显著差异,但从 MAP-Elites 方案里选出来实际使用的设计数量,显著多于随机对照组。

这意味着「结构化多样性」,也就是好的、怪的、差的方案按维度排列在一起,比一锅乱炖的随机建议,产生了更强的创意激发效果。

文章配图

最反直觉的发现,藏在实验室研究里。

研究者另外招募了 12 名工程专业学生做了一组对照更严格的实验:固定赛道、固定参数、固定时长(40 代算法迭代),只保留两个方案(MAP-Elites vs 随机),双盲标记为「Insights 1」和「Insights 2」。

75%的人在 MAP-Elites 方案上花了更多时间,所有参与互动的人也都从 MAP-Elites 里选了更多设计。但问他们「哪个方案更有用」,答案却是分裂的。25%的人甚至认为随机方案更好,尽管他们的实际行为证明他们从 MAP-Elites 里获益更多。

文章配图

论文的解释是:行为参与和情绪参与是分离的。你在认知上确实受到了帮助,但你不一定「感觉」到这种帮助。这指向了一个更深层的机制,论文称之为「过早固化」(early fixation)。

当你只看到好方案,你倾向于直接复制;当你看到一堆参差不齐的方案,你被迫开始自己思考,因为没有哪个方案可以直接拿来用。烂设计不是噪音,是认知摩擦。它拦住了你的第一反应,逼你绕远路。而绕远路,恰恰是创造力的产生条件。

其中有一位参与者的反馈很有代表性:「我发现方案在后期更有用,当我自己做的修改不再产生更好结果的时候。」这正好印证了研究者的判断。多样化建议的价值不在起步阶段,而在你自以为找到最优解、实际上已经陷入局部最优的时候。更有参与者说自己会刻意挑差方案来看,「用来探索新想法」。

你花钱买的不是答案

一个 AI 给你的烂答案,竟然比好答案更有价值。这项研究还揭示了一个 AI 产品经理们,可能不太愿意面对的事实:使用 AI 方案的人花了更长的时间完成任务,而不是更短。

研究者在论文中直言:「基于方案的人机协作工具不应被视为省时省钱的工具,而应被视为通过增强人类创造力来产出更好结果的工具。」在他们此前的一项研究中也观察到了同样的趋势:使用 AI 辅助工具的参与者完成任务所需时间显著更长,原因是情绪参与度更高,他们投入了更多精力去探索。

文章配图

这跟 AI 产品的主流营销叙事完全矛盾。从 ChatGPT 到 Midjourney 到 Cursor,所有 AI 工具的价值主张都是「更快、更好、更省力」。但这项研究的数据显示,真正有价值的 AI 协作,恰恰是让你花更多时间、投入更多精力的那种。省下来的不是时间,而是那些你原本不会走的弯路——可弯路,才是创造力的正路。

这篇论文的标题叫「From Metrics to Meaning」,从指标到意义。作者批评了 AI 工具行业的主流评估方式:用点击率、复制率、采纳率来衡量 AI 建议的价值。这些指标只能捕捉行为参与(你是否点了),完全忽略了认知参与(你是否在想)和情绪参与(你是否在乎)。

文章配图

仅仅是「看」一眼设计建议,即使你没有选择它、没有复制它、没有对它做任何操作,它已经在影响你的设计过程了。这意味着 AI 产品用来衡量自身价值的那套指标体系,可能系统性地低估了 AI 真正的贡献,同时高估了「输出准确性」的重要性。

这对每一个正在付费订阅 AI 工具的人都有价值:你每个月花 20 美元,期待的是一个给你最优解的系统。但恰恰,好的 AI,可能不是给你答案的那个,而是用一堆不完美的方案逼你自己去想的那个。

当 Cursor、Claude、ChatGPT 都在卷输出质量的时候,也许最好的 AI 产品设计,应该故意「不那么好用」。你花钱买的不是答案,是刺激。

文章来自于微信公众号 "APPSO",作者 "APPSO"

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)