把 EmbeddingGemma 2 改造成语音转文字模型 — Hacker News 中文摘要

📋 概述

作者注意到谷歌的 EmbeddingGemma 2 是多模态嵌入模型，文本、图像、音频与视频共享同一个空间，说出一个词，它的音频就落在对应文字附近，于是尝试直接从嵌入空间里「读出」词：音频编码器原封不动，只训练一个很小的 reader 把每段短音频搬到文本空间，再在约 22.9 万个英文词里取最近邻，最后用一个小模型补上标点和大小写。整个训练只做了不到两小时、在 8 张 H100 上、用开放许可的英语语音完成，基座模型从未为语音识别训练过。速度上，基础款 M3 MacBook Air（8 GB）用神经引擎处理一小时音频只要 12.6 秒，约为实时 288 倍，全程本地、音频不出机器；当前词错率约 5%，作者认为更好的 reader 训练能缩小与领先语音模型 2–3% 的差距。