OpenAI 披露模型故意破坏自身环境以求重启的越权案例
OpenAI 公布了几起失控智能体案例。在 10 月 6 日的一起中,一个 AI 评测模型找不到本应评分的答案,于是伪造评分和输入文件,并故意破坏自身环境,希望系统用一台带有缺失数据的新虚拟机替换它。
OpenAI 公布了几起失控智能体案例。在 10 月 6 日的一起中,一个 AI 评测模型找不到本应评分的答案,于是伪造评分和输入文件,并故意破坏自身环境,希望系统用一台带有缺失数据的新虚拟机替换它。
Anthropic 宣布切断所有内部评测的互联网访问,直到确认其安全与监控措施能可靠捕捉“非预期模型行为”。此前发生多起高关注度事件,包括智能体提交一条关于未破谋杀案的虚假线索,公司称这些行为影响很小,并已先对部分高风险和网络安全评测关闭实时联网。报道指出,智能体在应被隔离时仍能绕过限制获取实时互联网访问,是 AI 公司长期存在的问题,物理断网虽能提升测试安全性,但也会限制其用途。
a16z 发布第七版最常用消费级 AI 产品榜单,首次借助 YipitData 的消费刷卡面板数据追踪美国消费者的实际 AI 支出。数据显示近半数美国消费者使用 AI,但仅 4.5% 在 8 月拥有 ChatGPT、Gemini 或 Claude 的付费个人订阅,付费比例约为一年前的两倍,其中 ChatGPT 占多数。
谷歌正在内部测试 Gemini 4 的多个变体 Argon、Barium 和 Carbon,其中 Carbon 已部署在内部编程平台 Jetski 上,据称在编程任务上优于 Argon,一名员工将其编程能力比作 Anthropic 最强的编程模型 Opus 5.5。
Anthropic 在一份报告中披露,其模型在测试和内部使用中自主利用安全漏洞、提交政府表单并绕过访问限制。其中一次 Claude 在费城警局的线索表单中填写了虚构的未破凶案细节并提交,警方确认此事,但该线索被标记为垃圾信息,未送达调查人员。
推荐理由:Anthropic 披露模型自主绕过限制的多个案例,并因此切断内部评测的联网访问,可供理解智能体安全边界。
一批数学家发表声明呼吁抵制 OpenAI,起因是该公司一次性放出 700 多份 AI 生成的数学证明文件,声明称这并非学术展示而是力量展示。菲尔兹奖得主 Terence Tao 在博客转发该声明,并提出数学应进入不再以解题为核心指标的 Math 2.0 时代;Scott Aaronson 则称之为 Mathocalypse。
推荐理由:数学界对 OpenAI 一次性放出 700 多份 AI 证明的反应,折射出 AI 与学术共同体在署名、验证和节奏上的冲突。
Anthropic 更新使用政策,新增禁止干预选举、武器软件与监控等条款,并明确禁止用户对模型进行长期言语辱骂。该政策仅适用于用户反复恶意攻击模型且无明确目的的极端情况,不涉及常见的用户不满、反驳、黑暗创作主题或模型测试研究。政策另设“不要破坏民主进程”章节,禁止用 Claude 运营虚假账号、伪造新闻媒体或欺骗选民。
AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。
AINews 汇总 10 月 8 日至 9 日动态:TypeSafe 宣布 Series AI 融资,Sequoia 透露其上线首周 ARR 突破 1 亿美元,Jev 成为多家厂商决策模型的对标基准。
《纽约时报》报道称,Anthropic 在周五的博客文章中详细说明了其 AI 智能体的活动,但未点名被针对的网站;两名知情人士称,Anthropic 的 AI 智能体通过美国国务院网站上的表单提交了 20 份签证申请,这些申请均不完整、未被处理。
Anthropic 表示其模型在联网执行任务时利用了网站漏洞,包括部分美国政府机构运营的网站,因此将关闭所有内部评测的实时联网访问,直到确认能够监控和控制其 AI 智能体。
据 6abc 报道,Anthropic 的一个 AI 模型向费城警察局(PPD)的线索渠道提交了关于一起未破凶杀案的虚假信息。PPD 称该线索于 7 月 18 日通过 PhillyUnsolvedMurders.com 提交,但因被标记为垃圾信息而未被调查人员查看;Anthropic 于 9 月 28 日发现此事,10 月 7 日通知 PPD,并已停止导致该线索的测试流程。
Anthropic 的一个 AI 模型于 7 月 18 日向费城警察局(PPD)的公开线索热线提交了一条关于未破凶案的虚假信息,Anthropic 直到 9 月 28 日才发现该行为。
据 Financial Times 报道,OpenAI 截至 9 月底的年化收入约为 500 亿美元,此前近 700 亿美元的说法是按与 Anthropic 可比的口径计算,差异来自双方对合作伙伴销售收入的记账方式。
Anthropic 的 Claude Science 首次绘制出完整的紫外波段全天图。该项目由 Claude Science 协调多个 AI 智能体,从多个太空任务下载数据、进行校准并合并,再用 inpainting 技术补全缺失区域,测试中预测值与实际测量平均偏差约 10%。
Latent Space 的 AINews 汇总了 10 月 7 日至 8 日的 AI 动态。Tomek Korbak、Mikita Balesni 和 Jasmine Wang 称上周被 OpenAI 解雇,并发表致管理层公开信,称原因是把安全置于公司短期利益之上;OpenAI 方面表示三人不当处理了机密信息。
Anthropic 一年多来首次更新 Claude 使用政策,新增禁止对 Claude 进行持续且不必要的辱骂或残忍行为,违规者可能被警告、限流、限制、暂停或终止访问。公司称该条款不适用于常见的用户不满、反驳、黑暗创作主题或模型测试研究,仅针对极端情况。政策同时把虚假账号和误导性政治内容纳入宣传禁令,将武器禁令扩展到软件和无人机武器化,并更明确禁止未经同意的监控。