往 Codex 里塞块无限画布,AI 改图终于能指哪打哪了|附教程

和 Codex、Claude Code 等 Coding Agent 沟通,很多时候就像站在许愿池边,对着池子里的王八扔硬币,嘴里念念有词,关键它还真给你兑现愿望。
和 Codex、Claude Code 等 Coding Agent 沟通,很多时候就像站在许愿池边,对着池子里的王八扔硬币,嘴里念念有词,关键它还真给你兑现愿望。
因此,对很多不懂代码的人来说,Codex 带来的亢奋感是肉眼可见的——
它让人第一次感觉,自己也能指挥电脑干活。

🔗 https://x.com/zhongerxin/status/2068027614300893383
近半年以来,社交媒体上,围绕 Codex 的玩法越来越野。有人让它写网页,有人让它做报表,有人让它管文件,还有网友 @zhongerxin 折腾出了一种更直观的玩法:
把画布塞进 Codex。
他基于 tldraw 改造了一个叫 Cowart 的本地无限画布插件,让 Codex 不只读文字提示词,也能看到用户在画布上的箭头、批注和位置标记。其作用在于让 AI 改图时,能够指哪打哪。
逃离聊天框,Canvas 才是 AI 的应许之地
介绍 Cowart 之前,得先提一下 tldraw。
tldraw 可以理解为一块跑在浏览器里的无限白板。
它基于 React 构建,提供完整的画布引擎,内置白板工具、压感绘图、几何图形、富文本、箭头、形状吸附、图片与视频支持,以及图像导出等能力。

Github 地址 🔗 https://github.com/tldraw/tldraw
开发者可以基于它自定义形状、工具、绑定关系和 UI 组件,把它扩展成各种不同类型的画布应用。
Cowart 做的事情,就是基于 tldraw 搭了一个本地可视化画布,让用户在画布里构思、标注和生成图片,再把标注交给 Codex 继续修改。
玩法也不复杂。
安装 Cowart 时,可以直接把下面这段话发给 Codex,让它自动完成插件安装:

请从 https://github.com/zhongerxin/cowart.git 安装 Cowart Codex 插件。
请 clone 仓库到 ~/plugins/cowart,确认 .codex-plugin/plugin.json 存在,
把插件加入 personal marketplace,先运行 codex plugin marketplace add ~,
再运行 codex plugin add cowart@personal。
安装后请校验插件,并告诉我是否需要开启一个新对话来加载新技能和 MCP 工具。
安装完成后,通常需要开启一个新的 Codex 对话,让新的 skill 和 MCP 工具完整加载。使用时,可以直接在 Codex 中输入:
帮我打开 Cowart 画布。

实测中,Cowart 会启动一个本地网页服务,并在对话里给出预览入口。然后接下来的操作就非常简单了。
比如调用 Cowart 插件,继续在对话中输入:
帮我生成一张达芬奇原汁原味风格的《蒙娜丽莎》油画

随后,Codex 生成图片,并把它放进 Cowart 画布,右侧画布中可以看到生成后的《蒙娜丽莎》图片。后续修改可以直接围绕这张图进行。
接下来,我在 Cowart 画布里对这张图做两处标注。
第一处,在人物眼睛位置画箭头,并写上「给眼睛戴上墨镜」。第二处,在手部位置画箭头,并写上「手里拿着一杯果汁」。

标注完成后,把这张 Cowart 标注截图发给 Codex,并输入:
使用我的 Cowart 标注截图,生成一张干净的修订版图片,并将它放在原图旁边。

Codex 随后根据标注截图生成新的修订图。

2002 年斯皮尔伯格的《少数派报告》里,汤姆·克鲁斯饰演的角色站在悬浮屏幕前,用手势拖拽、圈选、调取数据。原本抽象的检索、判断和信息整理,被拍成了一种直接的空间操作:看到哪里,手伸过去,信息就跟着移动。

Cowart 的画布标注当然没有那么科幻,但它对应的交互直觉是一致的。
过去用户得把脑子里的画面翻译成一长串提示词,现在只要把箭头画到图上,把要求写在旁边。AI 看到的不再只是「把这里改一下」这样的模糊描述,还有位置、方向和上下文关系。
再来看一个商品图制作的案例。

依旧是让 Cowart 先生成一张极简风格的空白牛皮纸外带咖啡杯,放在木质桌面上;随后在背景区域标注「背景换为露营地」,在杯身中间标注「加上一个柴犬 logo」。

最终的结果也不出所料。
当 Cowart 把 AI 改图里的位置描述变成了画布标注,用户也不需要反复解释「左上角」「中间偏右」「手的位置」这类空间关系,直接在图上指给 Codex 看即可。
Cowart 这套「画布加标注加生图」的交互,也不只是绑定在 Codex 上。只要 Agent 客户端能调用本地 MCP 工具、能访问本地画布服务、能使用图像生成能力,类似玩法就可以迁移过去。
开发者 Chloe Tian(@tllll64)就搞了个 WorkBuddy 适配版,感兴趣的可以试试。

Github 地址🔗 https://github.com/tllll64/cowart\_workbuddy
不过,尽管 Cowart 未来可期,但目前体验还比较粗糙的:
响应慢,从开画布到生成、修改都得等;额度消耗高,多试几个版本成本肉眼可见地往上涨;还容易断联——画布、本地服务和 MCP 工具偶尔不同步,Codex 无法读取选区或插入结果,得重开画布或重启对话才能缓过来。
Codex 正在变成打工人的 AI「工作台」
Codex 的插件和应用案例,其实一直被市场低估。翻一翻 OpenAI 官网也能发现许多有趣案例,覆盖收件箱管理、电脑自动操作、前端开发、游戏开发、原生应用开发、生产系统维护等一系列场景。
在这些案例里,Codex 承担的任务已经不只是写几段代码。它可以帮用户管理收件箱,找出重要邮件,并按照用户的语气草拟回复;可以在 Mac 上点击、输入和操作应用;
可以跟随一个长期目标,持续处理复杂任务;也可以清洗表格数据、查询 CSV 和电子表格、审查 GitHub pull request、根据截图生成前端界面,甚至自动生成 slide decks。

🔗 https://developers.openai.com/codex/use-cases
OpenAI 发布的《How OpenAI uses Codex》白皮书显示,Codex 已在安全、产品工程、前端、API、基础设施和性能等团队中日常使用,基于内部访谈与数据总结。其主要应用可归为七类:

🔗 https://cdn.openai.com/pdf/6a2631dc-783e-479b-b1a4-af0cfbd38630/how-openai-uses-codex.pdf
最佳实践包括:先用 Ask Mode 规划,再用 Code Mode 执行;优化运行环境与权限配置;Prompt 类似 GitHub Issue,需提供充分上下文。团队还将任务队列当作轻量 backlog,借助 AGENTS.md 提供长期上下文,复杂任务用 Best-of-N 生成多方案筛选。

Cowart 这类功能插件本质上也契合这个方向。
对话是线性的,而创造往往是空间性的、发散的。用户在画布上指出位置,Codex 调用本地工具读取状态、生成图片、插入画布,并把结果保存在当前项目目录中。
往后看,很多轻量功能可能不会以独立应用的形态存在,而是成为 Agent 可以调用的一组本地能力,并被装进同一个工作流里。
当画布、表格、网页、邮件、代码仓库等等桌面环境都能被 Agent 理解和调用,Codex 也就演变成了一个可以被不断加装能力的本地工作台。
至于现在该准备点啥?或许就是备好自己的想象力,往 AI「许愿池」里,投下一枚枚更大胆的硬币。
文章来自于 "APPSO",作者 "APPSO"。
Related topics
After reading
Join the AINRK community
Read how to join the community and connect with people working in AI.




