最新消息:关注人工智能 AI赋能新媒体运营

OpenAI Codex macOS版应用新增电脑工具使用功能,可上网、打字、生成图片

科技资讯 admin 浏览

为应对Anthropic Claude Code的挑战,OpenAI本周宣布更新Codex macOS版应用,新增后台使用电脑工具的功能,不再仅限于编写代码,还能理解屏幕内容、上网和生成图片,几乎可以完成各类任务。Codex还大幅提升了自动化与记忆能力,为开发者提供更全面的协助。

通过新增后台电脑工具使用能力,Codex现在不仅能协助编写代码,还能理解屏幕上显示的内容,模拟鼠标点击应用程序或输入文字。目前在Mac电脑上,多个代理可同时运行且互不干扰其他应用。对开发者而言,这项能力有助于前端修改、测试应用,或在无法暴露API的系统中开展工作。

Codex现已原生支持网页浏览,其应用内嵌浏览器。用户可直接在网页上添加评论,向代理提供精准指令,这对前端开发和游戏开发尤为有益。OpenAI表示,未来将持续扩展对网页的控制能力,使Codex不仅能操作本地主机上的网页应用,还能全面掌控浏览器。

Codex还能使用gpt-image-1.5生成或优化图片。游戏或应用开发者可结合屏幕截图与代码,创作产品概念、前端设计、原型界面和游戏视觉效果。

提升开发协助能力

Codex现已支持软件开发生命周期的各个阶段,包括处理GitHub PR评论、同时运行多个终端标签页、通过SSH连接远程开发环境。它还能在侧边栏直接打开和预览多种文件,如PDF、电子表格、演示文稿和文档,并通过新的摘要面板追踪代理的计划、来源和产出成果。OpenAI表示,这些新功能将加速软件开发各环节,从编写代码、检查输出、查看变更到与代理协作,均可在单一工作空间内完成。

OpenAI进一步扩展了Codex的自动化能力,支持复用历史对话上下文、保留先前操作信息。它能自主安排后续任务,即使中断数天或数周后也能自动重启长期任务。开发团队可利用该功能自动处理从提交拉取请求到跟踪任务、同步Slack、Gmail和Notion等平台对话的一系列工作。

OpenAI还预览了全新的记忆功能,使Codex能记住过往工作的上下文,例如个人偏好、修复记录或已收集的信息,大幅减少开发者定制化配置的时间。Codex还能结合历史项目上下文、已连接的插件和记忆内容,为开发者提供后续操作建议。例如,它可从Google Docs中提取评论,从Slack、Notion或代码库中检索相关信息,并给出具体行动建议。

目前,这些新功能已部署至桌面版Codex应用,用户登录ChatGPT即可使用。包含上下文感知建议与记忆功能的个性化服务,将优先向企业用户和教育机构开放,并很快扩展至欧盟和英国地区。电脑操作功能目前仅限macOS版本,也将于近期上线欧盟和英国。