هر بار که یک مدل عمومی روی متن فارسی نتیجهٔ ضعیفی میدهد، جواب ساده این است که «دادهٔ فارسی کم است». درست است، ولی کل ماجرا نیست. فارسی چند ویژگی ساختاری دارد که حتی با دادهٔ فراوان هم کار را سخت میکند. این نوشته آن ویژگیها را یکییکی باز میکند.
۱. مرز کلمه در فارسی قطعی نیست
در انگلیسی، فاصله یعنی مرز کلمه. در فارسی اینطور نیست. «میرود» یک کلمه است ولی با یک نیمفاصله نوشته میشود؛ همان کلمه را مردم به سه شکل مینویسند: «میرود»، «می رود»، «میرود». برای یک مدل که کلمهها را به قطعه میشکند، این سه تا سه چیز متفاوتاند.
اثرش را در آرشیو جلسات میبینی: جستوجوی «میرود» نتیجهای را که «میرود» نوشته شده پیدا نمیکند. راهحل، عادیسازی متن قبل از ذخیره و قبل از جستوجوست — کاری که باید صریح انجام شود و خودبهخود اتفاق نمیافتد.
۲. یک حرف، چند کدنقطه
«ی» فارسی و «ي» عربی دو کاراکتر متفاوت با دو کد متفاوتاند که تقریباً یکسان دیده میشوند. همینطور «ک» و «ك». صفحهکلیدهای مختلف، سیستمعاملهای مختلف و کپیپیست از منابع مختلف، هر دو نسخه را وارد داده میکنند.
نتیجه: دو رشته که چشم انسان یکسان میبیندشان، برای ماشین نابرابرند. این یکی از رایجترین دلایل «چرا سرچ کار نمیکند» در سیستمهای فارسی است.
۳. اعراب هست، ولی نوشته نمیشود
فارسی مصوتهای کوتاه را نمینویسد. «کرم» بدون اعراب میتواند «کِرِم»، «کَرَم» یا «کرم» جانور باشد. انسان از بافت جمله تشخیص میدهد؛ مدل هم باید همین کار را بکند، ولی به بافت بیشتری نیاز دارد. در جملهٔ کوتاه — که در جلسه فراوان است — بافت کافی وجود ندارد.
۴. جملهٔ دوزبانه، حالت عادی است
این جمله را هر روز در جلسههای فنی ایران میشنوی:
«این feature رو تا sprint بعد deploy میکنیم، ولی باید قبلش review بشه.»
برای مدلی که یاد گرفته یا فارسی بنویسد یا انگلیسی، این جمله چالشبرانگیز است: باید وسط جمله جهت نوشتن، الفبا و واژگان را عوض کند و بعد برگردد. مدلهایی که فقط روی فارسی خالص آموزش دیدهاند، واژهٔ انگلیسی را به فارسی «حدس» میزنند و چیزی میسازند که در متن اصلی نبوده.
۵. زبان گفتار با زبان نوشتار فرق دارد
بخش عمدهٔ متن فارسیِ موجود روی اینترنت، فارسی کتابی است: خبر، مقاله، ویکی. اما جلسه با فارسی محاورهای برگزار میشود. «میخواهم بروم» در جلسه میشود «میخوام برم». این دو، ساختار واجی متفاوتی دارند و مدلی که بیشتر متن کتابی دیده، محاوره را ضعیفتر میفهمد.
اضافه کن لهجههای منطقهای را — و اینکه یک جلسهٔ دهنفره ممکن است چند لهجهٔ متفاوت داشته باشد.
۶. اسمهای خاص
اسم آدمهای ایرانی، اسم شرکتها، اسم محصولات داخلی، اسم شهرها — اینها در دادهٔ آموزشی مدلهای چندزبانه سهم ناچیزی دارند. مدل وقتی اسمی را نمیشناسد، نزدیکترین کلمهٔ آشنا را میگذارد.
در تحلیل جلسه این خطا از بقیه گرانتر است: اگر «کامران» بشود «کام ران»، کاری که قرار بود به کامران نسبت داده شود، بیصاحب میماند. یک خطای رونویسی، به یک خطای مدیریتی تبدیل میشود.
۷. راستبهچپ
این یکی بهنظر مسئلهٔ ظاهری میآید تا وقتی که خروجی را در یک سند یا یک تسکمنیجر بریزی و ترتیب کلمهها بههم بریزد — مخصوصاً وقتی عدد، تاریخ و واژهٔ انگلیسی در یک جمله کنار هم باشند. جهتدهی درست، باید در تمام مسیر داده رعایت شود، نه فقط در نمایش نهایی.
پس چه باید کرد
هیچکدام از اینها غیرقابلحل نیست، ولی هیچکدام هم خودبهخود حل نمیشود. کاری که باید انجام شود مشخص است: عادیسازی صریح متن، آموزش روی دادهٔ گفتاری فارسیِ واقعی (نه ترجمهشده)، مدیریت جداگانهٔ واژهٔ خارجی، و لغتنامهٔ اسمهای خاص که با اسم اعضای تیم پر شود.
این تفاوت میان یک سرویس چندزبانه که فارسی هم پشتیبانی میکند و سرویسی که برای فارسی ساخته شده است. چرا این تفاوت مستقیماً روی کیفیت تحلیل هوشمند جلسات اثر میگذارد را آنجا توضیح دادهایم — و مسیر فنی از صدا تا متن را در تبدیل گفتار به متن فارسی.