بازسازی دستیار صوتی سلفهاست با microWakeWord و Silero VAD
خلاصهٔ کاملتر
Fabio Manganiello، سازندهی پلتفرم اتوماسیون Platypush، چند ماه با دستیار صوتی سلفهاستی که قبلاً ساخته بود کار کرد. به گفتهی خودش، بعد از عادت به دستیارهای تجاری، از false positive و false negative زیاد و تشخیص ضعیف شروع و پایان صحبت، مخصوصاً تو محیط پرسروصدا و با میکروفون ارزون، راضی نبود. برای همین چند بخش رو عوض و تنظیم کرد.
اولین تغییر تو wake word detection هست، یعنی تشخیص کلمهای که دستیار رو بیدار میکنه. قبلاً از openWakeWord استفاده میکرد، ولی نویسنده میگه پروژه مدتیه بیسروصداست و مدلهاش نسخهی v0.1 از ۲۰۲۳ و بیشتر با صدای مصنوعی آموزش دیدن. پلاگین جدید assistant.microwakeword روی microWakeWord ساخته شده که موتور ESPHome و Home Assistant Voice هست. مدلهای okay_nabu، hey_jarvis، hey_mycroft و alexa همراه پکیج میان و مدل سفارشی هم با یه manifest از نوع JSON پشتیبانی میشه.
API این پلاگین با assistant.openwakeword یکیه، پس عوض کردنش فقط یه تغییر تو کانفیگه:
assistant.microwakeword:
models:
- alexaبخش سختتر end-of-speech detection بود، یعنی فهمیدن اینکه کاربر حرفش تموم شده. نسخهی قبلی با WebRTC VAD هر فریم رو جدا بررسی میکرد و یه فریم نویزی کافی بود تا تایمر سکوت ریست بشه. حالا Silero VAD (یه مدل تشخیص صدای انسان) از طریق onnxruntime و بدون نیاز به PyTorch بکاند اصلیه و WebRTC و یه تشخیص ساده بر پایهی RMS هم پشتیبان هستن.
کنارش hysteresis اضافه شده، یعنی فریم با رد شدن از آستانه صدا حساب میشه و تا وقتی امتیازش به اندازهی یه حاشیه پایین نیاد صدا میمونه. تصمیمها هم با رأی اکثریت روی یه پنجرهی ۰.۵ ثانیهای صاف میشن. یه noise floor تطبیقی هم سطح نویز پسزمینه رو دنبال میکنه و فریمهایی که از noise_floor_factor (پیشفرض 2.0، حدود ۶ دسیبل) برابر این سطح بلندتر نباشن صدا حساب نمیشن. تو بنچمارک مصنوعی، مکالمه قبلاً ۶ تا ۱۰ ثانیه بعد از حرف باز میموند و حالا ۱ تا ۱.۶ ثانیه بعد بسته میشه.
متن تشخیصدادهشده با Whisper به پلاگین openai میره و جواب با tts.openai پخش میشه. نویسنده میگه tts.piper هم که کاملاً محلی اجرا میشه نتیجهی خوبی داد، ولی روی Raspberry Pi 5 حدود ۳ تا ۴ ثانیه تأخیر اضافه داشت. هشدار آخرش اینه که پیشفرضها روی صدای مصنوعی و چند ضبط شخصی تنظیم شدن و تو اتاق یا میکروفون دیگه ممکنه لازم باشه detection_threshold و noise_floor_factor رو تغییر بدی.
نکات کلیدی:
- پلاگین جدید assistant.microwakeword با همون API قبلی و مدلهای آمادهی داخل پکیج
- Silero VAD با onnxruntime و بدون PyTorch، با fallback به WebRTC و RMS
- رأی اکثریت روی پنجرهی ۰.۵ ثانیه و noise_floor_factor پیشفرض 2.0
- بسته شدن مکالمه از ۶ تا ۱۰ ثانیه به ۱ تا ۱.۶ ثانیه بعد از آخرین کلمه رسید
- فریمهای openwakeword از 500ms به 80ms کاهش پیدا کردن
- tts.piper روی Raspberry Pi 5 حدود ۳ تا ۴ ثانیه کندتر از tts.openai بود




