AI news

速通 Codex 自动化:抓信息、看数据、交报告,一个 Codex 就全干了

By AI产品自由0 viewsSource: AI产品自由
速通 Codex 自动化:抓信息、看数据、交报告,一个 Codex 就全干了

OpenAI 公开介绍 Computer-Using Agent 时,讲的也是这个方向:模型针对图形界面交互做过训练,能把屏幕理解、任务目标和鼠标键盘动作接起来。鼠标会动只是表面。遇到按钮位置变化、弹窗多一层、页面慢一点时,它还能重新看屏幕,继续判断下一步。

The full text has not been translated yet. The Chinese original is shown below.

每天 9 点,我的数据平台会多出一条粉丝增长记录。

Codex 会去看小红书、抖音、B 站、X 的粉丝数据,判断有没有增长,再把结果写回数据平台。

我打开结果时,最想看的就一件事:今天哪个平台涨了,涨了多少。

文章配图

(隐私数据已隐藏)

这就够了。每天先看一眼增长,异常的再打开后台细查。

整个数据分析的功能,都是用 codex 的Computer Use 来实现的。

前两代都卡在哪儿

文章配图

AI 一出来我就在试后台数据巡检。

第一代是 Python——自己写(或让 Codex 写)程序去整理 B 站、抖音这些地方公开的内容数据,免得一个个看。但很多平台对程序化访问限制很严,写出来要么跑不通,要么很快受限。

第二代是 MCP / Chrome 扩展(也叫 Chrome MCP)——让 AI 通过浏览器扩展去操作页面。MCP 跑起来慢,一个多步任务等几分钟才回,烦得不行;Chrome 扩展操控弱,稍微复杂一点的交互(折叠面板、分页加载、富文本框)插件读不到,跑两步就卡。

这两代卡的不是同一个点:Python 卡在平台限制,Chrome 扩展卡在复杂页面。

真正缺的是:当数据只出现在屏幕上时,AI 能不能像人一样看懂当前页面。

Codex 学会用电脑了

Computer Use 接上的就是这一段。

Codex 跨过去的门槛,是模型开始能读懂一个正在运行的电脑界面。

这张截图在模型眼里,会被拆成一组可操作对象:按钮、输入框、菜单、弹窗、加载状态。模型要判断:当前任务下一步该点哪里、输什么、等不等页面加载。

Computer Use 的一轮动作,其实就是这个闭环:

文章配图

OpenAI 公开介绍 Computer-Using Agent 时,讲的也是这个方向:模型针对图形界面交互做过训练,能把屏幕理解、任务目标和鼠标键盘动作接起来。

鼠标会动只是表面。遇到按钮位置变化、弹窗多一层、页面慢一点时,它还能重新看屏幕,继续判断下一步。

脚本卡在规则里,插件卡在页面变化里;Codex 能一轮一轮看结果、改动作。

配合定时触发,它就能每天到点巡一圈后台:查粉丝增长、记增量、生成报告。

旧自动化是按点跑脚本,新 Codex 自动化是按点让 AI 接手一段电脑操作。

全程就是和 Codex 说话

全程跟 Codex 对话。但先把两件 Codex App 设置打开,否则定时任务跑不通——这两件是 Codex 真在你本地电脑上操作(不是云端跑)的必要授权,正好印证上一节说的 Computer Use。

前置 · 设置 1:运行时防止系统休眠

Codex App → 设置 → 常规,打开「运行时防止系统休眠」。否则定时到点了电脑还在睡着,根本起不来。

文章配图

前置 · 设置 2:电脑操控权限

Codex App → 设置 → 电脑操控,打开「任意应用」和「锁屏操作」。第一次让 Codex 操作 Chrome 时,它还会自动往 Chrome 装一个扩展。

文章配图

所有的自动化任务,都在下图的入口。

文章配图

设置开好,下面两步走。

第一步——让 Codex 帮你装 codex-auto-report

打开 Codex App,跟它说:

帮我装 codex-auto-report 这个 Skill。安装命令是npx codex-auto-report-skill install。跑前给我确认一下,装完告诉我结果。

文章配图

整个过程你不用打开终端。

codex-auto-report 是我做的一个辅助 Skill——其实就是我懒得每次都跟 Codex 重新解释一遍"反问 6 件事 + 出 HTML 报告",干脆做成 Skill。开头这种后台巡检报告,就是它适合承接的任务类型。

第二步——在 Codex App 里说一句话布置需求

比如:

用 codex-auto-report,帮我建一个定时任务:每天早上 9 点巡检抖音、B 站、X 和数据平台,记录关键数据变化,跑完出一份 HTML 报告。

文章配图

Codex 会用白话反问 6 件事,逐项确认:

  • 任务叫什么名
  • 几点跑
  • 在哪个项目目录下跑(你电脑上某个文件夹)
  • 每次跑的时候要做什么(细节)
  • 要不要先试跑一次
  • 涉不涉及敏感信息(账号、密码、API key)

你回完,Codex 自己去创建定时任务。下一天早上 9 点,它就开始跑。

文章配图

全程就是和 Codex 说话——装 Skill 是说话,布置任务也是说话。

它像个不下班的实习生:每天到点上班、跑完发报告。

Computer Use 实际用起来还有不少技巧,遇到问题可以在评论区告诉我——后续我会专门出一篇(或一个视频)展开讲。

什么活能甩,什么活不能甩

文章配图

不是所有事都该交给 Codex。适合交的事有 4 条标准。

适合交的 4 条标准

  • 低频:一天一次或几次,不是每分钟操作一次。高频访问就回到平台识别那一套了。
  • 重复:每次动作差不多,不是每次都要重新想方案。Codex 跑的是规律,不是创意。
  • 结构稳定:每次产出格式差不多——比如都是 HTML 报告、都是粉丝数表格。最怕的是这次出表、那次出文章、再下次出 PPT——每天打开像开盲盒。
  • 结果可验证:你一眼能看出来跑对了没。能验证才能放心让它跑。

只把可观察、低风险的事交给 Codex,其他的人来做。

这场拉锯还在继续——下一代工具出现之前,Codex Computer Use 够用了。

文章来自于微信公众号 "AI产品自由",作者 "AI产品自由"

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)