2026 年的推理硬件革命:从训练转向以内存为中心
来源:spectrum.ieee.org — spectrum.ieee.org · 12 分 · by vinhnx
📋 概述
IEEE Spectrum 的文章指出 2026 年 AI 的重心已经从训练转向推理:GPT-3 在 2020 年只答对 43.9% 的题目,GPT-4o 四年后在同一个基准上做到 88.7%,模型变得有用于是被大量使用;推理模型靠思维链在一次查询里反复自我重提示,高推理档位的输出可达低档位的 20 倍,智能体又让推理从实时响应变成 24 小时不间断运行。这催生了意外的联盟与非常规硬件路线:亚马逊把推理拆成两半交给 Trainium 与 Cerebras,Nvidia 花 200 亿美元从 Groq 买团队与知识产权,Anthropic 每月向 SpaceXAI 支付超过十亿美元租算力。
🔑 核心要点
- 重心从训练转向推理,被 Jensen Huang 称为推理的拐点。
- 推理模型靠思维链反复重提示,高推理档输出可达 20 倍。
- 智能体让推理从实时响应变成全天候运行。
- 量化是当前最直接的优化:Nvidia 的 NVFP4 把 DeepSeek-R1 压到 4 位、性能提升三倍。
- 更激进的路线包括对数数字系统 Napier 与把 Transformer 直接刻进硅片的 Sohu。
💡 金句
训练就像昨天的新闻,如今所有首席信息官想谈的都是推理。
👍 0
👎 0
← 返回 Hacker News 首页