Search

Results for “Loop”

Total 58 articles

同等预算下,Looped Transformer更强吗?清华、字节Seed给出答案

同等预算下,Looped Transformer更强吗?清华、字节Seed给出答案 (opens in a new tab)

在大模型的发展中,提升能力的主要手段一直是 "做大"—— 更多参数、更多数据、更多算力。如今,另一条思路开始受到关注:与其不断堆叠新的层,不如让已有的层再跑一遍。这就是 Looped Transformer。普通 Transformer 的每一层只执行一次,而 Looped Transformer 会把其中一部分层重复执行,让模型在不增加参数的情况下获得更深的计算。

AI guides
0
你以为是 AI 在干活,其实那个循环一直是你——一个 OpenAI 员工聊 loop engineering

你以为是 AI 在干活,其实那个循环一直是你——一个 OpenAI 员工聊 loop engineering (opens in a new tab)

OpenAI 的 tevfik 写了篇关于 loop engineering 的文章,开头那句我读完顿了一下。他说,他和 coding agent 协作,到现在大多还是同一个流程:我解释一个任务,等结果,审一遍,再发下一条指令。代码是 agent 写的,但我在后台还干着另一份活——我记着发生了什么、决定下一步做什么、判断这事到底完成没。

AI guides
0