让电子书与有声书逐词对齐：Storyteller 强制对齐算法全解

概述

作者详解自己开发的 Storyteller 的强制对齐算法——它能把用户提供的电子书与有声书自动对齐，定位每句话在有声书中的朗读位置，并利用 EPUB 的 Media Overlays 实现沉浸式逐句高亮跟读。文章深入技术细节：用 Massively Multilingual Speech（MMS，含 Wav2Vec2 编码器 + CTC 头）把音频转成逐帧字符概率的 CTC 发射矩阵；用「RANSAC'd n-grams」做章节边界搜索（把文本与解码结果切成 10 字符 n-gram 求交），再以唯一匹配锚点分段后，用 CTC Viterbi 动态规划算法做逐字符强制对齐。