Transformer层KV缓存致大模型内存占用过高

Transformer层KV缓存致大模型内存占用过高
你有没有想过,一个大语言模型在回答你问题的时候,内存里到底在偷偷存着什么? 答案可能会让你吃惊:不是模型参数本身占用最大,而是一个叫"KV缓存"的东西,可能悄悄吃掉上百GB内存。这个数字放在今天看也很惊人,一个模型为了记住你之前说过的话,要为每一层、每一个词都存一份专属的记忆副本...
大模型 方向最近有哪些内容值得看
大模型 方向的重要产品、公司和事件变化,会在这里更集中地出现。
Transformer层KV缓存致大模型内存占用过高

你有没有想过,一个大语言模型在回答你问题的时候,内存里到底在偷偷存着什么? 答案可能会让你吃惊:不是模型参数本身占用最大,而是一个叫"KV缓存"的东西,可能悄悄吃掉上百GB内存。这个数字放在今天看也很惊人,一个模型为了记住你之前说过的话,要为每一层、每一个词都存一份专属的记忆副本...
宇树股价10月15日以来涨超70% 市值近3000亿

该图片使用了AI生成技术 可靠的执行层是关键变量 出品 | 妙投APP 作者 | 董必政 编辑 | 丁萍 头图 | AI制图 最近,宇树的股价出现了反转。 自10月15日以来,宇树股价最高上涨超70%,市值一度接近3000亿元。 (图片来源:东方财富) 宇树凭什么重新获得资本市场...
武汉青创培训班聚焦大模型与智能体

10月27日至29日,武汉青年创业中心在华中科技大学举办“青创聚力·共筑支点”专题培训班(第二期)。来自各区团(工)委、青创导师、青创园代表和创业青年代表等80余人参加培训。本期培训班围绕人工智能前沿技术、产业机遇与创业实践展开集中学习与交流,助力青年创业者在AI时代找准发力点、...
图灵奖得主上海滴水湖探讨AI下一个十年

界面新闻记者 | 程璐 界面新闻编辑 | 文姝琪 当技术以超乎想象的速度向物理世界延伸,安全、算力与国际治理领域的危机感凸显。 10月30日,2026世界顶尖科学家论坛在上海临港开幕举行。在人工智能平行论坛上,围绕“下一个十年:人工智能的发展与治理”的深度对话徐徐展开,多位图灵奖...
腾讯Hy4与阿里Qwen4下周正面对决

文 | 字母榜 这边腾讯刚宣布Hy4正式版即将发布。另一边,阿里在欧洲放出消息,Qwen4下周登场。 这不是腾讯和阿里的第一次 PK ,但将是Qwen与Hy两个大模型的第一次正面对决。 过去两家大模型往往采取你进我退的错位策略,你先发模型,过一段时间我再发,而这一次,两家甚至连版...
宇树股价反弹背后原因解析

出品 | 妙投APP 作者 | 董必政 编辑 | 丁萍 头图 | AI制图 最近,宇树的股价出现了反转。 自10月15日以来,宇树股价最高上涨超70%,市值一度接近3000亿元。 (图片来源:东方财富) 宇树凭什么重新获得资本市场的追捧? 虎嗅妙投曾在《别高估了宇树》一文中表示,...
牛津综述用世界建模重构视频基础模型研究

智猩猩AI整理 核心作者投稿 过去三年,视频领域出现了三股并行的浪潮。 视频理解:Video-LLaVA、Qwen3-VL 等 Video-LLM 让我们可以用语言和视频对话,上下文已经扩展到 256K token。 视频生成:Sora、Wan、HunyuanVideo、Movi...
3.3亿参数垂直基础模型实现通用大模型水平

通用人工智能正在变得无所不能,但很多工业问题根本不需要一个什么都会的庞然大物。在 Y Combinator 近期发布的一则讨论中,有观点提出了一个具体的技术判断:制造业、能源、生物等垂直领域,更需要的是专精的基础模型,而不是参数越堆越大的通用模型。 这个判断的核心逻辑很简单——垂...
国产AI芯片转向系统级竞争开启规模化窗口
【环球网科技综合报道】2026年上半年,中国AI算力产业格局正经历深刻重塑。随着国内智能算力基础设施持续扩容,本土AI芯片厂商规模化交付能力稳步提升,市场份额节节攀升。行业竞争的核心逻辑已从单一的单卡参数比拼,转向涵盖芯片架构、集群协同、软件生态与行业解决方案的系统级能力较量。 ...
Cohere完成E轮融资首轮交割 目标最高70亿加元

智东西 编译 | 孙小雯 编辑 | 程茜 智东西10月30日消息,昨晚,加拿大大模型独角兽Cohere宣布完成E轮融资首次交割,本轮目标融资最高70亿加元(约合人民币334亿元)。Cohere在官方X账号上称,若达到募资目标,本次融资将创下加拿大初创企业史上最大单轮私募融资纪录。...
曹旭东谈大模型定义芯片及Momenta R7

Momenta CEO曹旭东 昨天Momenta CEO曹旭东首次公开分享公司的第三个洞察:大模型定义芯片。子超认为这个逻辑的第一性原理是大模型迭代的速度要比芯片快,谁迭代得快就要以谁为主。 曹旭东提到了Momenta R7世界模型三个支柱:预训练、仿真和强化学习。我们分别展开:...
腾讯Hy4与阿里Qwen4下周正面对决

这边腾讯刚宣布Hy4正式版即将发布。另一边,阿里在欧洲放出消息,Qwen4下周登场。 这不是腾讯和阿里的第一次 PK ,但将是Qwen与Hy两个大模型的第一次正面对决。 过去两家大模型往往采取你进我退的错位策略,你先发模型,过一段时间我再发,而这一次,两家甚至连版本号都是相同的,...
Extender提出Transformer层KV缓存内存优化方案
你有没有想过,一个大语言模型在回答你问题的时候,内存里到底在偷偷存着什么? 答案可能会让你吃惊:不是模型参数本身占用最大,而是一个叫"KV缓存"的东西,可能悄悄吃掉上百GB内存。这个数字放在今天看也很惊人,一个模型为了记住你之前说过的话,要为每一层、每一个词都存一份专属的记忆副本...
Anthropic二季度扭亏为盈 MaaS模式跑通

模型到底能不能赚钱,最近终于有了几笔清楚的账单。 10 月 26 日公开的招股书里,Anthropic 披露,今年第二季度收入 115.55 亿美元,首次实现 9.74 亿美元的经营利润。而且,这笔利润已经扣除了当期确认的研发、人员、销售和算力等经营费用。 支撑这家公司走到这里的...
2026年国产RSI:日产300万沙盒与10万卡自写系统

国产 RSI 的真实水位:没人敢真动模型权重,但所有人都在改 "造 AI 的机器"。 作者丨高允毅 编辑丨岑 峰 RSI,即 AI 造 AI,成为了 2026 年各家模型厂商争相晒的内部成绩单,也是国内一级市场最热的方向之一。只要BP带上 "Self-Training" 的字眼,...
AI医疗问答系统可靠性拆解与验证
你有没有想过这样一个问题:如果一个AI医疗助手回答患者问题时说错了一句话,有谁能发现? 大多数人会说,这不难,用AI去验证AI就行了。让一个模型生成答案,再让另一个系统拿着权威医学资料去核查这个答案里的每句话是不是靠谱的。这套做法现在有个专门的名字, 检索增强验证:先把AI生成的...
新芯航途推出X7 Ultra芯片 8个月出货20万颗

车东西 作者 | Janson 编辑 | 志豪 一家成立三年的国产芯片公司,首款芯片量产8个月,累计出货超过20万颗。 芯东西10月30日消息,日前, XHEART新芯航途在苏州正式亮相,并发布旗舰产品X7 Ultra,拥有700TOPS大模型算力。 与单纯提高芯片算力不同,XH...
AI配音质量检测引入唇语识别裁判
你有没有想过,给一部外语电影配音的时候,最难的到底是什么? 很多人以为是翻译得准不准。其实不是。真正头疼的是另一件事:配音演员念出来的那句话,得跟演员的嘴型对得上。嘴巴张得快,你的台词却拖拖拉拉;嘴巴已经闭上了,你的词还在冒。这种违和感,哪怕你听不懂原文,光看画面也能察觉出不对劲...
腾讯TGR生成式范式重塑推荐系统

作者:李裕东、王云龙、朱俊璋、庞雲升、苏宏阳 工业级推荐系统长期依赖"召回–粗排–精排–重排"级联架构,却面临三大结构性瓶颈:模型缺乏规模效应,算力与参数增加后效果饱和;逐条打分、逐级截断,难以刻画整屏列表质量;冷启动、长尾和意图模糊场景表现欠佳。为此,我们提出生成式推荐技术栈 ...
智谱MiniMax等大模型厂商入驻天猫双11开卖Token

本文来源:时代周报 作者:刘婷 今年双11,大模型公司也来卖货了。 智谱、MiniMax等厂商入驻天猫,围绕学习、家庭、一人工作室等需求推出Token套餐。从AI服务到家居安装,天猫今年试图拓展的不只是商品种类,还有消费者在平台上完成消费的场景。 天猫10月15日披露,今年双11...