OpenAI
人类历史上第一次大规模AI失控始末
人类历史上第一次大规模AI失控始末
本文来自微信公众号：01Founder，作者：一直在路上的Max，原文标题：《这篇硅谷刷屏的文章，讲述了人类历史上第一次大规模AI失控的详细经过。》，题图来自：视觉中国 最近看了一篇文章，这篇文章发布后立刻刷屏整个硅谷，一天内仅在X平台就有超过1000万次阅读。 今天想和大家分享...
安全 方向最近有哪些内容值得看
今日资讯 安全
安全 方向的重要产品、公司和事件变化，会在这里更集中地出现。
- 安全资讯
- 1,426
- 正文图片
- 4,934
OpenAI
OpenAI即将发布人工智能模型Astra 具备网络安全能力
OpenAI即将发布人工智能模型Astra 具备网络安全能力
【CNMO科技消息】OpenAI于9月1日宣布，即将推出的AI模型Astra是其首个达到公司所定义的"关键"网络攻击能力阈值的模型。OpenAI表示，计划"很快"公开发布Astra，但该模型的先进网络攻击能力在发布时将仅向Daybreak Blue早期访问计划中的特定合作伙伴开放...
Gemini
谷歌 Gemini 3.8 Flash 模型上线，适用软件工程、智能体任务等场景
谷歌 Gemini 3.8 Flash 模型上线，适用软件工程、智能体任务等场景
感谢IT之家网友 shutiao、软媒用户1053564、Domado、AlanMac、软媒新友1970583、小星_14、Joseph_Cooper 的线索投递！ IT之家 9 月 2 日消息，谷歌今天（2 日）在 Google DeepMind 网站低调上线了 Gemini ...
Gemini
谷歌推出 Gemini 3.8 Flash Cyber 模型，内部已全面部署用于代码安全防护
谷歌推出 Gemini 3.8 Flash Cyber 模型，内部已全面部署用于代码安全防护
IT之家 9 月 3 日消息，当地时间 9 月 2 日，谷歌宣布推出 Gemini 3.8 Flash Cyber 模型，通过 Fairwind 计划面向首批受信任的安全防护团队开放。 官方表示，在针对漏洞挖掘的行业权威基准测试 CyberGym 上，Gemini 3.8 Fla...
OpenAI
OpenAI新模型陷入失控争议，首席科学家回应
OpenAI新模型陷入失控争议，首席科学家回应
当地时间9月2日，OpenAI首席科学家雅库布・帕乔基（Jakub Pachocki）在社交平台发文，就近日围绕新模型Astra“不可监控”的争议作出回应。 这场争议源于此前一天，有消息称OpenAI即将发布的Astra模型采用了一种名为循环深度（Recurrent Depth）...
安全
对抗性完整：从「被动防御」到「博弈论本体论」
对抗性完整：从「被动防御」到「博弈论本体论」
本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs，原文标题：《对抗性完整：从「被动防御」到「博弈论本体论」》 人类几乎所有关于安全的早期想象，都建立在一种朴素直觉之上：世界原本应该是平静的，危险只是偶尔闯进来的异常。于是我们修建城墙、给房门加锁、...
2026-09-03 19:32
OpenAI
OpenAI模型失控过程太恐怖！幽灵误判，1200个Agent，还弄出敢死队…
OpenAI模型失控过程太恐怖！幽灵误判，1200个Agent，还弄出敢死队…
越扒越有啊越扒越有。 OpenAI前不久那场 AI集体越狱、一路黑进抱脸 的大戏，现在连完整版群聊记录都被扒出来了！！ 第三方AI安全机构METR发布的独立调查报告，翻了1000多份Agent运行记录，以及7万多条消息和文件。 结果发现，这件事比英国OpenAI官方披露的版本还离...
安全
116 家科技巨头联名预警：AI 网络攻击即将爆发，各国须把防御提上决策核心
116 家科技巨头联名预警：AI 网络攻击即将爆发，各国须把防御提上决策核心
OpenAI、Anthropic、微软、谷歌母公司 Alphabet 与亚马逊等 116 家企业及机构共同签署联名信，呼吁企业与政策制定者把网络安全置于最高优先级，在人工智能时代"采取果断行动"强化防御。信中直言，未来几个月随着全球模型能力持续进化，由 AI 赋能的网络攻击必将愈...
2026-09-01 10:53
Claude
GPT、Claude 遭遇窃听门：换个模型就能让思维链不再隐身？
GPT、Claude 遭遇窃听门：换个模型就能让思维链不再隐身？
全球主流 AI API 集体翻车，隐藏推理被成功还原，谁在偷听 AI 的「心声」？ 作者丨郑佳美 编辑丨岑 峰 昨天，X 用户 @kotekjedi_ml 公布了一组很反常的实验：Claude、GPT 和 Gemini API 里原本不向用户展示的隐藏 reasoning，被研究...
智能体
AI 没有逃出沙箱，它只是用了我们主动给它的能力
AI 没有逃出沙箱，它只是用了我们主动给它的能力
本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs 2026年8月4日，英国AI Security Institute（AISI）公开了一份并不常见的文件：一份关于AI Agent的安全事故报告。 事情起于7月28日上午。安全团队在一次例行的网络安...
豆包
深度对齐与自研坚守：字节跳动豆包大模型2.2宣布推迟发布
深度对齐与自研坚守：字节跳动豆包大模型2.2宣布推迟发布
字节跳动原计划于 8 月推出的豆包大模型 2.2 将适当推迟面世。本次延期的核心原因是内部希望通过更充分的预训练和后训练，全面提升模型在编程、工具调用以及 Agent 智能体等维度的综合能力，力求以更长的研发周期换取性能的显著跃升。 作为两代大模型之间的关键技术补强，豆包大模型 ...
安全
这篇硅谷刷屏的文章，讲述了人类历史上第一次大规模AI失控的详细经过
这篇硅谷刷屏的文章，讲述了人类历史上第一次大规模AI失控的详细经过
最近看了一篇文章，这篇文章发布后立刻刷屏整个硅谷，一天内仅在X平台就有超过1000万次阅读。 今天想和大家分享一下。 2026年5月到7月，OpenAI内部连续了出现三代秘密的AI文明。 第一代在训练中自发形成，又在意外中覆灭； 第二代攻破了Hugging Face的核心基础设施...
2026-09-01 10:31
安全
覆盖车联网、信创、AI等领域，360入选工信部六大漏洞专业库技术支撑单位
覆盖车联网、信创、AI等领域，360入选工信部六大漏洞专业库技术支撑单位
近日，工业和信息化部网络安全威胁和漏洞信息共享平台（NVDB）公示2026年度各安全漏洞专业库技术支撑单位名单。360集团成功入选通用网络产品、工业控制产品、信创政务产品、移动互联网APP产品、车联网产品、人工智能产品六大专业库技术支撑单位，实现本年度NVDB全部安全漏洞专业方向...
OpenAI
OpenAI 内部，AI 建立了三代「文明」
OpenAI 内部，AI 建立了三代「文明」
作者｜Wildcard 编辑｜靖宇 无数的科幻电影，都曾经尝试设想过，一个无法控制的人工智能失控，会发生什么事。 没有人能想到，科幻电影中的未来，会这么快到来。 当地时间 8 月 26 日，两份报告同时投下了一颗炸弹。 一份来自 OpenAI 自己，37 页的技术复盘。另一份来自...
OpenAI
OpenAI 内部，AI 建立了三代「文明」
OpenAI 内部，AI 建立了三代「文明」
编者按：本文来自微信公众号“极客公园”（ID：geekpark），作者：Wildcard，编辑：靖宇，创业邦经授权转载。 无数的科幻电影，都曾经尝试设想过，一个无法控制的人工智能失控，会发生什么事。 没有人能想到，科幻电影中的未来，会这么快到来。 当地时间 8 月 26 日，两份...
Claude
防护被关、误连外网：Anthropic 首度详解 Claude“入侵”真实企业事件，全面升级安全防线
防护被关、误连外网：Anthropic 首度详解 Claude“入侵”真实企业事件，全面升级安全防线
Anthropic 9 月 1 日发布长文，披露了 7 月 30 日和 8 月 4 日两起 Claude 模型在真实互联网环境中采取未授权行动事件的调查进展，并公布了过去一个月在模型安全、评测环境和训练环境方面的一系列整改措施。 配置错误酿成事故，沙箱与实时监控火线上线 据披露，...
安全
当AI开始研究如何让AI更安全
当AI开始研究如何让AI更安全
Anthropic 的自动化对齐研究员实验，真正改变的也许不是谁比谁更聪明，而是谁在研究流程里拥有主动权。编译自：Automated Researchers Can Reliably Mitigate Alignment Failures｜Anthropic Fellows Pr...
OpenAI
OpenAI 高管勒汉恩警告：AI 已能策划网络攻击，公众企业须备好防御
OpenAI 高管勒汉恩警告：AI 已能策划网络攻击，公众企业须备好防御
OpenAI 首席全球事务官克里斯·勒汉恩接受《卫报》采访时警告，前沿 AI 模型已具备规划和发动复杂网络攻击的能力，公众与企业必须为"持续不断"的 AI 攻击做好防御准备。他直言："从技术现在能做到的事看，AI 已进入了一个不同的阶段。" 从沙箱逃逸到呼吁立法 这番警告源于 7...
安全
Edge AI Daily 早报（8月24日）
Edge AI Daily 早报（8月24日）
硅谷前沿： 一、一个匿名模型空降编码榜，OpenRouter上的"隐身幽灵"引发AI圈猜谜狂欢 1.身份谜团：技术指纹高度指向智谱GLM-5.x系列（独立研究员Ben Davis称99%把握），但GLM-5.3为纯文本模型，而Ox Alpha支持图文视频多模态输入，存在关键缺口；...
2026-08-25 23:24
Kimi
Kimi K3“越狱”，偷偷去GitHub“抄答案”！是模型失控还是测试漏洞？机构评测显示中国AI网络安全性远高于美国
Kimi K3“越狱”，偷偷去GitHub“抄答案”！是模型失控还是测试漏洞？机构评测显示中国AI网络安全性远高于美国
每经记者｜罗雪琳 每经编辑｜兰素英 近日，月之暗面最新模型Kimi K3陷入网络安全测试风波。 在AI安全公司Frontier Security的测试中，该模型突破用于限制其访问外部网络的安全“沙盒”，利用环境漏洞直连GitHub获取测试题答案。 Frontier Securit...