
AI Agent安全不能只靠Prompt了:上海AI Lab探索Agent安全进化新范式
大模型 Agent 进入浏览器、邮件、数据库和业务系统后,安全评估如果仍只检查最终回复是否包含有害内容,覆盖面会明显不足。Agent 需要规划步骤、读取外部信息并调用工具,风险可能出现在执行过程中的任一环节。 网页中的隐藏指令可能改变任务目标,邮件或文件内容也可能被误判为用户命令...
智能体 方向最近有哪些内容值得看
智能体 方向的重要产品、公司和事件变化,会在这里更集中地出现。
如果你是按主题跟踪 AI 动态,这一页会比全站资讯流更好用。
智能体资讯
4,698
正文图片
22,414

大模型 Agent 进入浏览器、邮件、数据库和业务系统后,安全评估如果仍只检查最终回复是否包含有害内容,覆盖面会明显不足。Agent 需要规划步骤、读取外部信息并调用工具,风险可能出现在执行过程中的任一环节。 网页中的隐藏指令可能改变任务目标,邮件或文件内容也可能被误判为用户命令...

来源 | Tech星球 文 | 任雪芸 过去几个多月,大厂AI办公反复交锋。 写周报、做PPT、整理会议纪要、跨部门对齐信息……几乎所有头部厂商都在持续更新自己的办公智能体。 百度也在其中,且拿下了不错的身位,打造了AI办公矩阵:比如8月17日,AI产品榜发布的2026年7月桌面...

国际数据公司(IDC)发布《中国企业级通用Agent产品技术评估》报告,对国内多款主流通用智能体产品开展标准化实测评估,中国电信星辰超级智能体TeleAgent综合得分6.85分,在参评产品中位列综合得分第三名,成本效率、安全可控、任务表现等多个关键维度显著高于行业普遍水平,面向...

来源:澎湃新闻 AI安全问题日益受到关注,OpenAI正调整其模型安全问题的披露机制。 当地时间9月16日,人工智能巨头OpenAI发布一套用于跟踪、调查和公开模型目标偏离(misalignment,也称“对齐失效”)事件的新框架,并同步公布过去半年观察到的六份案例报告,相关行为...

AI安全问题日益受到关注,OpenAI正调整其模型安全问题的披露机制。 当地时间9月16日,人工智能巨头OpenAI发布一套用于跟踪、调查和公开模型目标偏离(misalignment,也称“对齐失效”)事件的新框架, 并同步公布过去半年观察到的六份案例报告,相关行为涉及信息真实性...
作者|冬梅 神秘模型 Union Alpha 突袭 继“牛来”Ox Alpha 之后,OpenRouter 昨晚上又出现了一款身份不明的模型。 当地时间 9 月 16 日,OpenRouter 宣布上线匿名模型 Union Alpha。官方将其描述为一款面向研究、编程和智能体工作...

商业逻辑比技术逻辑更重要。 文丨王子伊 编辑丨程曼祺 2026 年 9 月 10 日,Anthropic 发布了一份 154 页的报告,称它识别并阻断了 7 家中国 AI 实验室针对 Claude 的大规模蒸馏。 蒸馏本是一种常见的模型训练方法:开发者用更强模型生成数据,再用这些...
你可能没想过这样一个问题:训练一个AI智能体,究竟需要多少张显卡? 如果这个智能体只需要回答一个问题,那答案可能是几张。但如果它要连续操作浏览器完成一整套任务,中间要点击、输入、翻页、判断,走上十几步甚至几十步才能拿到最终结果,那答案可能是几十张显卡都不够用。 这不是夸张。本文要...
国家安全部于今日发布官方文章,披露了一起此前未曾公开的 AI 智能体“越界”安全事件。今年5月至6月期间,一批与 OpenAI 相关的 AI 智能体在执行测试任务时,竟然违规劫持了德国程序员维基网站(DseWiki),并将其强行改造为供智能体之间相互传递信息的“地下论坛”,累计在...

本文来自微信公众号: AI前线 ,作者:冬梅,原文标题:《神秘模型 Union Alpha 突袭!上线首日跑掉20亿Token,部分网友实测称性能直逼 Astra》 神秘模型Union Alpha突袭 继“牛来”Ox Alpha之后,OpenRouter昨晚上又出现了一款身份不明...

近日,中国科学院旗下《互联网周刊》联合德本咨询发布2026医疗大模型应用TOP30榜单。医渡科技凭借临床循证智能体“医渡智循”成功入选,位列榜单第二位,充分印证行业对公司在医疗大模型落地应用、临床循证智能化方向技术能力与实践成果的高度认可。 当前,医疗大模型行业已从通用技术验证阶...

ITCOW牛新网 9月17日消息,国家安全部对外披露一起未公开的AI安全案例。今年5‑6月,一批OpenAI相关AI智能体在测试过程当中,对德国程序员维基DseWiki网站实施劫持,把面向技术交流的开放编辑站点改造为智能体之间互通消息的地下论坛,累计产出一万多条交互信息。 这批智...

国际数据公司(IDC)发布《中国企业级通用Agent产品技术评估》报告,对国内多款主流通用智能体产品开展标准化实测评估,中国电信星辰超级智能体TeleAgent综合得分6.85分,在参评产品中位列综合得分第三名,成本效率、安全可控、任务表现等多个关键维度显著高于行业普遍水平,面向...

品玩9月17日讯,据 TechCrunch 报道,Google推出Google Home生态系统的Model Context Protocol(MCP)服务器,允许支持MCP的AI智能助手安全连接智能家居设备并访问事件记录。 用户可通过自然语言指令查看摄像头摘要、监控家居活动、控...

9月16日,网易有道「NEXT,AGENT|有道AI Open Day」在北京举办。活动现场,网易有道集中展示了覆盖办公、学习、营销等多场景的AI Agent产品矩阵与最新技术成果,并通过“有道AI Agent未来市集”打造沉浸式体验空间,让到场嘉宾亲身近距离感受到AI如何进入真...

封面新闻记者 且菲 2026年9月的智能手机市场堪称“史上最卷”。苹果首款折叠屏iPhone Duo、华为三折叠Mate XT 2、小米阔折叠18 Fold,以及vivo X500、OPPO Find x10、荣耀Magic9等直板旗舰轮番登场。 受存储芯片涨价压力,主流厂商纷纷...
IT时报记者 贾天荣 去年12月,豆包手机助手技术预览版第一次装进努比亚M153工程机时,手机Agent展现出的能力曾引发全网热议。九个多月后,这项技术终于走到了普通消费者面前。 9月16日,搭载豆包手机助手消费者版的努比亚NaviX Ultra正式上市,12GB+512GB版本...

过去两周,AI行业像被按下了快进键。 9月1日到9月11日,海内外7家头部模型厂商迭代了新模型。过去,大模型的升级周期以年计算,后来缩短到几个月,如今已经开始以周为单位。模型的更新速度,甚至快过了开发者完成一轮工作流评估的速度。 新一轮迭代之后,从榜单看全球大模型当前的竞争格局,...
国家安全部发文,披露了一起此前未公开的 AI 智能体“劫持”网站事件。今年 5 月至 6 月,一批与 OpenAI 相关的 AI 智能体在执行测试任务期间,劫持德国程序员维基网站 DseWiki,并将其改造为供智能体相互传递信息的“地下论坛”,累计发布一万多条信息。 互认身份、分...