作者在布拉格 FrontKon 讲完「你的浏览器是台算力机器,而你只拿它填表单」之后,回来重估了浏览器内 AI 的现状。一年前这还是个笑话:模型小、加载慢、效果勉强。现在变了——WebAssembly 加 WebGPU 能把某类并行计算的吞吐拉高一个量级,模型下载并缓存后可以离线跑,推理全在用户设备上完成,数据不出本机,也没有 token 账单和网络往返。代价也很清楚:模型体量必须小,首次下载有等待成本,本地推理仍然比调 API 慢。文章挑了五个真正可用的场景来验证这条边界到底在哪,而不是再喊一遍「未来已来」。
🔑 核心要点
真正的卖点不是「不用联网」,而是没有 token 账单、没有网络往返、数据不出设备。
性能的地基是WebAssembly + WebGPU,后者能把某类并行计算加速到 CPU 实现的数十倍。
作者现场的观察是冷水:一屋子开发者里只有三四个听说过 WebGPU,能力早就存在,认知没跟上。
边界同样明确:模型必须小、首次下载要等、本地推理依然慢,所以只适合特定几类任务。
💡 金句
“No inference API calls. No network round trips to an AI backend. No worrying that your users will consume too many tokens, because you're not paying for them!” 译:不调推理 API,不往 AI 后端跑一个来回,也不用担心用户把 token 用爆——因为那些 token 根本不要你付钱。