بسیاری از زبانهای ایرانی با وجود میلیونها گویشور، هنوز زیرساخت لازم برای ورود به مدلهای هوش مصنوعی را ندارند. این موضوع از یک چالش فرهنگی فراتر رفته و به موضوعی درباره آینده فناوری تبدیل شده است.
به گزارش پیوست، زبانهایی میتوانند وارد مدلهای هوش مصنوعی شوند که مجموعهای از منابع فنی مانند پیکرههای متنی، دادههای گفتاری، فرهنگ لغت دیجیتال و منابع آموزشی را داشته باشند. فقدان این زیرساختها باعث میشود یک زبان زنده، در محیطهای جدید فناوری حضور محدودی داشته باشد.
پردازش زبان طبیعی (NLP) بر پایه یادگیری از دادههای زبانی عمل میکند. مدلهای زبانی بزرگ مانند GPT و BERT با تحلیل حجم گستردهای از متن، الگوهای واژگانی، نحوی و معنایی زبان را استخراج میکنند. با این حال، پژوهشهای حوزه تعامل انسان و ماشین نشان میدهد که توانایی تولید متن الزاما به معنای درک کامل زبان نیست. این مساله برای زبانهایی که منابع دیجیتال محدودتری دارند، پیچیدهتر است زیرا داده کافی برای ساخت مدل، ارزیابی عملکرد و توسعه ابزارهای کاربردی وجود ندارد.
بر اساس برآوردهای موجود، زبان فارسی با حدود ۵۰.۴ میلیون گویشور، بزرگترین زبان ایرانی است. در کنار آن، کردی با حدود ۵.۵۹ میلیون، گیلکی با حدود ۲.۴ میلیون، مازندرانی با حدود ۲.۳۴ میلیون، بلوچی با حدود ۱.۹۲ میلیون، لری با حدود ۱.۷ میلیون و لکی با حدود یک میلیون گویشور قرار دارند. فاصله میان این زبانها اما در حوزه فناوری زبان، بسیار بیشتر از فاصله جمعیتی آنهاست.داده مناسب برای آموزش ماشین وجود ندارد
دیجیتال یک زبان به میزان «قابل پردازش بودن» آن وابسته شده است. زبانهایی که دارای منابع ساختاریافته هستند، میتوانند سریعتر وارد ابزارهایی مانند ترجمه ماشینی، دستیارهای صوتی، موتورهای جستوجو و سامانههای آموزشی هوشمند شوند.
مطالعات حوزه پردازش زبان طبیعی نشان میدهد که عملکرد مدلها به شدت تحت تأثیر حجم و کیفیت داده آموزشی قرار دارد. تفاوت عملکرد میان زبانها در مطالعات تجربی نیز مشاهده شده است. در یک مطالعه مشخص شد عملکرد مدلها برای زبان انگلیسی ۸۸ درصد، اسپانیایی ۶۲ درصد، ماندارین ۵۸ درصد و عربی ۵۴ درصد بوده است. این اعداد نشان میدهند کیفیت عملکرد AI میان زبانها یکسان نیست. در نتیجه، داشتن جمعیت بزرگ به تنهایی تضمینکننده …
