وقتی یک فایل صوتی فارسی را به یک سرویس رونویسی می‌دهید و چند ثانیه بعد متن تحویل می‌گیرید، پشت آن چهار مرحلهٔ جداگانه اجرا شده است. این راهنما توضیح می‌دهد تبدیل گفتار به متن فارسی در هر مرحله دقیقاً چه کار میکند، خطا معمولاً کجا وارد میشود، چرا فارسی از انگلیسی سخت‌تر است و برای بالا بردن دقت خروجی چه کارهایی از دست کاربر برمی‌آید.
تبدیل گفتار به متن چیست و چه تفاوتی با رونویسی دستی دارد؟
تبدیل گفتار به متن یا ASR، فرایندی است که در آن یک سیستم صدای ضبطشده را به متن نوشتاری تبدیل میکند. تفاوتش با رونویسی دستی فقط سرعت نیست؛ خروجی ماشین همیشه با درصدی خطا همراه است و این خطا در جای قابل پیش‌بینی اتفاق می‌افتد، مثل اسمهای خاص و واژه‌های تخصصی.
در مقابل، رونویس انسانی خطای کمتری دارد اما برای هر ساعت صدا معمولاً چند برابر آن زمان صرف میکند. برای جلسههای کاری که هر هفته تکرار می‌شوند، این تفاوت هزینه تعیین‌کننده است.
مرحلهٔ اول: صدا چطور به عدد تبدیل میشود؟
میکروفون فشار هوا را به ولتاژ تبدیل میکند و کارت صدا آن را نمونهبرداری میکند، معمولاً ۱۶ هزار بار در ثانیه برای گفتار. خروجی این مرحله یک رشتهٔ طولانی از عدد است؛ یک جلسهٔ یک‌ساعته تقریباً ۵۷ میلیون عدد میشود.
هیچ مدلی این حجم خام را مستقیم پردازش نمی‌کند. صدا به قطعه‌های کوتاه بریده میشود و هر قطعه به نمایشی فشرده تبدیل میشود که فرکانس‌های مهم گفتار را نگه می‌دارد و بقیه را کنار می‌گذارد. این نمایش همان چیزی است که در متون فنی طیف‌نگاره یا اسپکتروگرام نامیده میشود.
کیفیت این مرحله سقف کیفیت کل سیستم را تعیین میکند. میکروفون ضعیف، اتاق پژواک‌دار یا فشردهسازی شدید فایل، اطلاعاتی را از بین می‌برد که هیچ مدلی بعداً نمی‌تواند بازسازی کند.
کیفیت ضبط، سقف کیفیت کل زنجیرهٔ رونویسی را تعیین میکند.
مرحلهٔ دوم: تشخیص گفتار و تفکیک گوینده چطور انجام میشود؟
در یک جلسهٔ واقعی، بخش زیادی از فایل سکوت یا صدای محیط است. پیش از هر پردازش سنگینی، سیستم بازه‌های گفتار را از بازه‌های غیرگفتار جدا میکند. این کار هزینهٔ پردازش را پایین می‌آورد و جلوی یک خطای آزاردهنده را میگیرد، چون مدلهای گفتار به متن وقتی به سکوت می‌رسند تمایل دارند متنی از خودشان بسازند.
در همین مرحله تفکیک گوینده هم انجام میشود. سیستم مشخصات صوتی هر بازه را با بقیه مقایسه و بازه‌ها را خوشه‌بندی میکند. خروجی این است که از ثانیهٔ ۱۲ تا ۲۸ گویندهٔ شمارهٔ یک صحبت کرده است. اینکه گویندهٔ شمارهٔ یک چه نامی دارد، تصمیم جداگانه‌ای است که با نگاشت دستی یا فهرست شرکت‌کنندگان جلسه انجام میشود.
سخت‌ترین حالت این مرحله همپوشانی است، یعنی وقتی دو نفر روی هم حرف می‌زنند. در جلسههای فارسی که فضای گفت‌وگو معمولاً غیررسمی‌تر است، این حالت زیاد پیش می‌آید.
مرحلهٔ سوم: مدل چطور از صدا به حرف می‌رسد؟
مدلهای امروزی گفتار به متن ساختار رمزگذار و رمزگشا دارند. بخش اول صدا را می‌خواند و به یک نمایش داخلی تبدیل میکند و بخش دوم آن نمایش را به متن می‌نویسد، کاراکتر به کاراکتر یا قطعه‌واژه به قطعه‌واژه.
نکتهٔ مهم این است که مدل هم‌زمان دو کار انجام می‌دهد. هم می‌شنود و هم حدس می‌زند. وقتی صدا مبهم است، مدل بر اساس آنچه تا اینجا نوشته محتمل‌ترین ادامه را انتخاب میکند. همین ویژگی باعث میشود خروجی روان به نظر برسد حتی وقتی اشتباه است، و متن غلط روان دیرتر از متن آشکارا خراب لو می‌رود.
مرحلهٔ چهارم: خروجی خام چطور به فارسی قابل‌انتشار تبدیل میشود؟
خروجی خام مدل هنوز فارسی استاندارد نیست و چند پردازش روی آن لازم است:
- نیم‌فاصله: «می رود» باید به «می‌رود» تبدیل شود. مدل عمومی معمولاً این قاعده را رعایت نمی‌کند و متن ظاهر شلخته‌ای پیدا میکند.
- یکسان‌سازی حروف: «ي» و «ك» عربی باید به «ی» و «ک» فارسی تبدیل شوند، وگرنه جست‌وجو در آرشیو جلسات نتیجه نمی‌دهد.
- شکل اعداد: اینکه «بیست و سه» بماند یا «۲۳» شود به کاربرد بستگی دارد. برای استخراج خودکار مهلت‌ها، شکل عددی لازم است.
- نقطه‌گذاری: گفتار نقطه و ویرگول ندارد و مدل این‌ها را از روی مکث و آهنگ جمله حدس می‌زند. خطای این بخش کم نیست و مستقیم روی خوانایی متن اثر می‌گذارد.
چرا دقت روی زبان فارسی پایین‌تر است؟
ریشهٔ اصلی، کمبود دادهٔ آموزشی عمومی است. در نسخهٔ ۲۵ پیکرهٔ Common Voice موزیلا، برای فارسی حدود ۳۷۳ ساعت گفتار تأییدشده از ۴٬۶۵۵ گوینده ثبت شده است، در حالی که همین پیکره برای انگلیسی نزدیک به ۲٬۷۸۵ ساعت تأییدشده دارد. یعنی اختلاف حدود هفت‌برابری فقط در یکی از منابع عمومی.
به این کمبود، سه ویژگی زبانی اضافه میشود: نوشته‌نشدن حرکت‌ها که خواندن درست واژه را به بافت وابسته میکند، تفاوت زیاد میان فارسی گفتاری و نوشتاری، و ورود مداوم واژه‌های انگلیسی وسط جملهٔ فارسی. توضیح کامل این سه را در چرا فارسی برای مدلهای زبانی سخت است آورده‌ایم.
خطای رونویسی بیشتر از کجا می‌آید؟
| منبع خطا | نمونه | کاری که از دست شما برمی‌آید |
|---|---|---|
| اسم خاص | نام افراد و شرکت‌های ایرانی که در دادهٔ آموزشی کماند | افزودن فهرست اسامی تیم به واژهنامهٔ سرویس |
| واژهٔ انگلیسی میان جملهٔ فارسی | «این تیکت را تا اسپرینت بعد می‌بندیم» | بازبینی دستی واژه‌های فنی در خروجی |
| فاصله از میکروفون | فردی که انتهای اتاق نشسته است | میکروفون رومیزی مشترک یا هدست برای هر نفر |
| همپوشانی گفتار | دو نفر که هم‌زمان حرف می‌زنند | مدیریت نوبت گفت‌وگو در جلسههای آنلاین |
| فشردهسازی صدا | فایل با کیفیت پایین یا تماس تلفنی | ضبط مستقیم به‌جای ضبط از بلندگو |
دقت رونویسی با چه عددی سنجیده میشود؟
معیار استاندارد، نرخ خطای واژه یا WER است که نسبت واژه‌های جایگزین‌شده، حذف‌شده و اضافه‌شده را به کل واژه‌های مرجع می‌سنجد. نکتهٔ مهم این است که این عدد بدون ذکر مجموعهٔ آزمون بی‌معناست. مدلهای تنظیم‌شدهٔ فارسی که روی Hugging Face منتشر شده‌اند، بسته به دادهٔ آزمون WER بین حدود ۸ تا ۳۹ درصد گزارش کرده‌اند؛ یعنی یک مدل واحد می‌تواند روی گفتار خوانده‌شدهٔ تمیز عالی و روی جلسهٔ واقعی ضعیف باشد.
روش سنجش ما و شرایطی که عدد در آن گزارش میشود را در دقت رونویسی را چطور اندازه می‌گیریم نوشته‌ایم.
راوی در کدام مرحله‌ها کار متفاوتی میکند؟
راوی هر چهار مرحله را روی زیرساخت خودش اجرا میکند و محتوای جلسه برای پردازش به سرویس دیگری فرستاده نمی‌شود. تفاوت اصلی در مرحلهٔ چهارم است. قواعد نیم‌فاصله، یکسان‌سازی حروف و شکل اعداد برای فارسی پیاده‌سازی شده‌اند تا متن خروجی مستقیم قابل انتشار و جست‌وجو باشد.
روی این متن یک لایهٔ تحلیل می‌نشیند که خلاصه، تصمیم‌ها و کارها را بیرون می‌کشد. توضیح این لایه در صفحهٔ تحلیل هوشمند جلسات آمده است.
جمع‌بندی
رونویسی خودکار یک زنجیرهٔ چهارمرحله‌ای است و ضعیف‌ترین حلقه، کیفیت ضبط است نه مدل. پیش از تغییر سرویس، یک بار کیفیت صدای ورودی را بررسی کنید. فاصلهٔ میکروفون، پژواک اتاق و نحوهٔ ضبط را کنترل کنید. بیشترین بهبود دقت معمولاً از همین‌جا به دست می‌آید.
سؤالات متداول
بهترین فرمت فایل برای رونویسی فارسی چیست؟
فایل ضبطشده با نرخ نمونهبرداری دستکم ۱۶ کیلوهرتز و فشردهسازی کم. فرمتهای رایجی مثل mp3 و m4a کار میکنند، اما ضبط مستقیم از جلسه همیشه بهتر از ضبط صدای بلندگو با گوشی است.
آیا رونویسی خودکار جای رونویس انسانی را میگیرد؟
برای جلسههای کاری روزمره بله، چون هدف ثبت تصمیمهاست نه متن کلمهبهکلمهٔ بیخطا. برای اسناد حقوقی یا پزشکی که هر واژه اهمیت دارد، بازبینی انسانی روی خروجی ماشین همچنان لازم است.
تفکیک گوینده چقدر دقیق است؟
در گفتوگوی مرتب با میکروفون مناسب، دقت بالاست. در حالت همپوشانی صدا یا وقتی چند نفر از یک میکروفون مشترک استفاده میکنند، خطا زیاد میشود و بازبینی دستی لازم است.
چرا اسم همکارانم اشتباه نوشته میشود؟
چون اسمهای خاص فارسی در دادهٔ آموزشی مدلهای عمومی کماند و مدل نزدیکترین واژهٔ آشنا را جایگزین میکند. افزودن فهرست اسامی تیم به واژهنامهٔ سرویس، بیشترین اثر را در رفع این خطا دارد.
رونویسی یک جلسهٔ یک‌ساعته چقدر طول می‌کشد؟
پردازش معمولاً کسری از مدت جلسه است و خروجی چند دقیقه پس از پایان جلسه آماده میشود. در حالت رونویسی زنده، متن در طول خود جلسه ساخته میشود.
