搜索

关于“loop”的结果

共 58 篇

同等预算下,Looped Transformer更强吗?清华、字节Seed给出答案

同等预算下,Looped Transformer更强吗?清华、字节Seed给出答案(在新窗口打开)

在大模型的发展中,提升能力的主要手段一直是 "做大"—— 更多参数、更多数据、更多算力。如今,另一条思路开始受到关注:与其不断堆叠新的层,不如让已有的层再跑一遍。这就是 Looped Transformer。普通 Transformer 的每一层只执行一次,而 Looped Transformer 会把其中一部分层重复执行,让模型在不增加参数的情况下获得更深的计算。

AI技术文章
0
你以为是 AI 在干活,其实那个循环一直是你——一个 OpenAI 员工聊 loop engineering

你以为是 AI 在干活,其实那个循环一直是你——一个 OpenAI 员工聊 loop engineering(在新窗口打开)

OpenAI 的 tevfik 写了篇关于 loop engineering 的文章,开头那句我读完顿了一下。他说,他和 coding agent 协作,到现在大多还是同一个流程:我解释一个任务,等结果,审一遍,再发下一条指令。代码是 agent 写的,但我在后台还干着另一份活——我记着发生了什么、决定下一步做什么、判断这事到底完成没。

AI技术文章
0