每瓦智能：衡量本地 AI 的智能效率

📋 概述

论文提出用 IPW（intelligence per watt，单位功耗下的任务准确率）作为统一指标，衡量本地推理在能力与效率上的整体表现。作者评测了 20 多个本地模型、8 种加速器与 100 万条真实单轮对话与推理查询，逐条测量准确率、能耗、延迟与功耗。结论有三点：本地模型成功回答了 88.7% 的查询；2023 到 2025 年 IPW 提升 5.3 倍，可本地服务的查询占比从 23.2% 升到 71.3%；本地加速器跑同一模型时 IPW 至少比云端低 1.4 倍，优化空间仍然很大。