Storyteller چطور کتاب صوتی و ایبوک رو همزمان میکنه
خلاصهٔ کاملتر
Storyteller یه اکوسیستم نرمافزاریه با وباپ، اپ اندروید و iOS و پلاگین KOReader که نسخهٔ v3ش الان تو تست آلفا و بتاست. هستهٔ اصلیش الگوریتم alignmentه: ایبوک و کتاب صوتی رو میگیره و پیدا میکنه هر کلمه کجای صدا گفته میشه. بعد با Media Overlays (قابلیت داخلی استاندارد EPUB برای همزمانسازی صدا) این اطلاعات رو داخل فایل EPUB میذاره تا اپ کتابخوان همزمان با راوی جملهها رو هایلایت کنه.
به گفتهٔ نویسنده، کتابها چند تا چالش خاص دارن: ترتیب فصلها تو ایبوک و کتاب صوتی میتونه فرق کنه، بعضی فصلها مثل فهرست و پیوست تو نسخهٔ صوتی نیستن، تیکههایی از متن جا میافتن، و راوی گاهی کلمه رو عوض میکنه. ابزارهای قبلی مثل syncabook از کاربر میخواستن دستی بگه کدوم فصل با کدوم فایل صوتی جفته؛ کاری که هم سخته هم خیلی وقتها شدنی نیست.
قدم اول پیدا کردن مرز فصلها تو صداست. صدا به مدل Massively Multilingual Speech (MMS) داده میشه که روی Wav2Vec 2.0 ساخته شده و خروجی CTC (یعنی برای هر فریم ۲۰ میلیثانیهای، احتمال هر حرف) میده. با unconstrained greedy decoding، یعنی برداشتن محتملترین حرف تو هر فریم، یه متن پرغلط ولی قابلاستفاده درمیاد. متن ایبوک هم بیعلامت و حروفکوچیک میشه تا شبیهتر بشن.
بعد هر دو متن به n-gramهای ۱۰ حرفی شکسته میشن و جای هر کدوم ثبت میشه. با RANSAC (روشی که دادههای پرت رو کنار میذاره) تطابقهای درست جدا میشن. نویسنده میگه حتی اگه فقط ۱۰٪ n-gramها جور باشن، هزاران نقطه برای پیدا کردن فصل هست. این روش هم سریعه و هم در برابر خطای رونویسی خیلی مقاومه.
برای alignment دقیق، دو ترفند هست. اول match anchorها: تطابقهایی که تو هر دو متن یکتان و تقریباً هر ۲٬۰۰۰ کاراکتر یکی پیدا میشن، پس الگوریتم به جای کل فصل فقط روی تیکههای ۲٬۰۰۰ کاراکتری اجرا میشه. دوم Viterbi، یه الگوریتم dynamic programming که بهترین مسیر رو از روی بهترین مسیر تا قدم قبلی میسازه. مثلاً برای کلمهٔ «all» با ۷ فریم، ۲۱۰ مسیر ممکن هست ولی Viterbi فقط دو مسیر نهایی رو مقایسه میکنه.
چون هر فریم دقیقاً ۲۰ میلیثانیهست، با دونستن فریم شروع و پایان هر حرف، زمان هر کلمه و جمله هم درمیاد. این aligner جدید با فلگ --ctc تو ابزار stalign و تو نسخهٔ بتای Storyteller v3 در دسترسه.
نکات کلیدی:
- Storyteller اطلاعات همزمانی رو با استاندارد Media Overlays داخل خود فایل EPUB میذاره.
- مرز فصلها بدون کمک کاربر و حتی با ترتیب متفاوت فصلها پیدا میشه.
- مدل MMS برای هر فریم ۲۰ میلیثانیهای احتمال حروف رو به شکل CTC emission میده.
- جستوجوی مرزها با n-gramهای ۱۰ حرفی و فیلتر RANSAC انجام میشه.
- Viterbi بین anchorهای حدوداً ۲٬۰۰۰ کاراکتری اجرا میشه و با فلگ --ctc تو stalign قابل استفادهست.




