بهترین هوش مصنوعی برای ترجمه فارسی

دو مولفه‌ای که در این معماری از هم جدا افتاده‌اند

کوهر مدلی با نام Command A Translate در کاتالوگ خود دارد و در مستندات فنی آن را صراحتا «مدل ترجمه ماشینی» اختصاصی خود معرفی کرده است. همان مستندات ۲۳ زبان پشتیبانی شده را تک به تک فهرست می‌کند: انگلیسی، فرانسوی، اسپانیایی، ایتالیایی، آلمانی، پرتغالی، ژاپنی، کره‌ای، چینی، عربی، روسی، لهستانی، ترکی، ویتنامی، هلندی، چکی، اندونزیایی، اوکراینی، رومانیایی، یونانی، هندی، عبری و فارسی.

هر چهار زبانی که این سایت با آنها منتشر می‌شود، درون همین فهرست ۲۳ تایی قرار دارند. برای هر پروژه با استقرار دوزبانه یا چندزبانه، این دقیق‌ترین سند موجود درباره پوشش زبانی در کل این مرجع است.

در طرف مقابل معماری، متا لاما ۴ را با وزن باز عرضه می‌کند و پروانه آن استفاده تجاری را هم مجاز می‌داند؛ یعنی مولفه‌ای که می‌توان آن را روی زیرساخت داخلی مستقر کرد و خروجی اش را به فروش رساند. مشخصات فنی آن فهرست بسته دوازده زبانه دارد: عربی، انگلیسی، فرانسوی، آلمانی، هندی، اندونزیایی، ایتالیایی، پرتغالی، اسپانیایی، تاگالوگ، تایلندی و ویتنامی. فارسی در این فهرست نیست. ترکی هم نیست. متا این فهرست را با عبارتی مانند «از جمله» باز نگذاشته، پس این یک مشخصه بسته و قطعی است.

در نتیجه، محور رتبه بندی این دسته کیفیت خروجی نیست؛ محور آن این است: آیا زبان مقصد شما در مشخصات فنی مدل ثبت شده، و آیا اصلا مسیر دسترسی به آن باز است.

وارونگی پنجره متن در معماری این دو مدل

Command A Translate پنجره عملیاتی هشت هزار توکنی دارد؛ کوتاه‌ترین ظرفیت در کل این کاتالوگ، کوتاه‌تر از هر مولفه دیگری که در این مرجع ثبت شده. لاما ۴ اسکات در سوی دیگر، پنجره ده میلیون توکنی دارد، بلندترین مقدار ثبت شده.

یعنی مولفه‌ای که فارسی را می‌شناسد، ظرفیت پردازش چند صفحه دارد، و مولفه‌ای که فارسی را نمی‌شناسد، یک کتاب کامل را در یک فراخوانی می‌پذیرد. این یک تصادف معماری نیست: مدل ترجمه اختصاصی برای واحد جمله و پاراگراف طراحی شده، نه برای سند کامل.

پیامد عملیاتی این وارونگی جایی مستند نشده: با یک مدل ترجمه اختصاصی، پایپ لاین ترجمه یک سایت باید صفحه به صفحه اجرا شود، نه در یک عبور یکپارچه. اگر نیاز عملیاتی شما عبور یک سند بلند در یک فراخوانی است، در واقع مولفه‌ای را انتخاب می‌کنید که برای این بار کاری طراحی نشده، و این انتخاب باید آگاهانه در معماری پروژه ثبت شود.

چرا باز بودن پروانه در این دسته وزن ۳۰ می‌گیرد

در سایر دسته‌های این مرجع، وزن باز بودن پروانه یک مولفه جانبی در معماری امتیازدهی است. در این دسته چنین نیست.

دلیل مستقیم است: برای کاربر ایرانی، همان لایه از زیرساخت که در عمل غیرقابل استفاده است، API میزبانی شده است. توافق تجاری کوهر ایران را صریحا در تعریف Restricted Location خود ثبت کرده است. بنابراین مولفه‌ای که وزن آن منتشر شده و پروانه آن استفاده تجاری را مجاز می‌کند، در این معماری یک جزء عملیاتی واقعی است؛ بقیه مولفه‌ها صرفا مستنداتی درباره یک ابزار غیرقابل استقرار هستند.

همین معیار، تفاوتی را آشکار می‌کند که یک پرچم دودویی «باز است یا نه» پنهان می‌کند. آیا اکسپنس وزن باز منتشر می‌کند، اما زیر پروانه CC BY-NC عمل می‌کند؛ یعنی اگر آن را برای ترجمه تجاری سایت مشتری به کار ببرید و بابتش هزینه دریافت کنید، پروانه را نقض کرده‌اید. لاما ۴ استفاده تجاری را مجاز می‌داند، اما زیر پروانه اختصاصی متا با سقف ۷۰۰ میلیون کاربر فعال ماهانه و الزام درج نشان Built with Llama. میسترال لارج ۳ زیر پروانه آپاچی ۲ عرضه شده، آزادترین پروانه در کل این جدول، اما فارسی را در مشخصات فنی خود ثبت نکرده است.

چهار معیاری که عمدا از این رابرک حذف شده‌اند

نمره کیفیت ترجمه. کوهر Command A Translate را «مدل ترجمه ماشینی پیشرفته» خود معرفی می‌کند، بدون انتشار هیچ عدد قابل استناد. سایر سازنده‌ها هم چنین عددی منتشر نکرده‌اند. ستونی که برای هیچ نامزدی مقدار ندارد، در معماری رابرک جایی ندارد.

قیمت. از هفت نامزد این جدول، تنها دو مورد قیمت منتشرشده دارند. کوهر برای نسل جدید مدل‌هایش نرخی چاپ نمی‌کند، میسترال اصلا نرخ سطح مدل منتشر نمی‌کند، و متا وزن مدل را عرضه می‌کند بدون آنکه قیمتی در میان باشد. ستونی با تنها دو سلول پر، پنج نامزد دیگر را بدون دلیل فنی در رتبه پایین می‌کشد.

جهت ترجمه. کیفیت ترجمه متقارن نیست: مسیر فارسی به انگلیسی با مسیر انگلیسی به فارسی از نظر عملکردی یکسان نیستند، و این برای هر مترجم حرفه‌ای شناخته شده است. هیچ سازنده‌ای در این مرجع داده مجزا برای هر جهت منتشر نمی‌کند، پس این صفحه هم درباره آن ادعایی ندارد. فهرست زبان یک مجموعه است، نه یک جفت جهت دار.

و پنجره متن، معیاری که به صورت آزمایشی وارد رابرک شد و سپس حذف شد؛ دلیل حذف آن را اینجا ثبت می‌کنیم چون برای دسته‌های بعدی هم کاربرد دارد. موتور رتبه بندی هر ستون عددی را بین کمینه و بیشینه نامزدها نرمال سازی می‌کند. در اینجا کمینه پنجره ۸ هزار توکن است و بیشینه ۱۰ میلیون، فاصله‌ای در حد سه مرتبه بزرگی. نتیجه عملی این بود که ۲۵۶ هزار توکن از سقف ۱۵ نمره ۰.۴ می‌گرفت و ۱۲۸ هزار توکن ۰.۲، در حالی که فاصله واقعی میان ۸ هزار و ۲۵۶ هزار در عمل ۳۲ برابر است. ستونی که یک تفاوت ۳۲ برابری را به صورت «۰.۴ در برابر ۰.۲» نشان می‌دهد، آن تفاوت را اندازه گیری نمی‌کند؛ این معیار خطای سیستماتیک تولید می‌کند. به همین دلیل عدد از جدول خارج شد و تحلیل آن در متن بالا باقی ماند.

دو ردیف بدون رتبه در این معماری

زیر جدول دو نامزد قرار دارند که موتور رتبه بندی نتوانسته برایشان رتبه محاسبه کند، هر دو به یک دلیل مشترک: سازنده برای همان مدل مشخص فهرست زبان منتشر نکرده است.

یکی Command A+ است، پرچمدار خط تولید کوهر. مستندات کوهر برای این مدل ادعای «توانایی ترجمه در سطح جهانی» را ثبت می‌کند، اما هیچ فهرست زبان و هیچ عدد قطعی برای آن منتشر نمی‌کند. یعنی ادعای عملکردی وجود دارد، بدون داده‌ای که بتوان به آن استناد کرد.

دیگری میسترال لارج ۳ است که آزادترین پروانه کل این جدول را دارد: آپاچی ۲، وزن باز، مجوز کامل استفاده تجاری، دقیقا همان مشخصه‌ای که این دسته وزن دوم را به آن اختصاص داده است. با این حال میسترال برای لارج ۳ نه فهرست زبان منتشر می‌کند و نه فهرست کشور، و همان فهرست جزئی هم صراحتا کامل اعلام نشده. مدلی که از نظر پروانه بهترین گزینه این جدول بود، صرفا به دلیل نبود این دو سند از جدول رتبه بندی حذف شد.

این وضعیت پنهان نمی‌شود، چون همین شفافیت است که اعتبار جدول را تضمین می‌کند: نامزدی که شاهد مستند ندارد، رتبه نمی‌گیرد، حتی وقتی فرضیه ما این باشد که عملکردش خوب است.

آنچه این جدول اندازه گیری نمی‌کند

هر سلول ستون فارسی روی این صفحه فقط این را می‌گوید: سازنده این زبان را در مشخصات فنی اش ثبت کرده است. هیچ خروجی واقعی خوانده یا ارزیابی نشده.

این همان محدودیت روش شناسی است که دسته صداگذاری هم دارد، و مرز صادقانه کل این متدولوژی همین است. ما فهرست‌های منتشرشده رسمی را می‌خوانیم و به آنها استناد می‌کنیم؛ ارزیابی میزان طبیعی بودن خروجی فارسی این مدل‌ها یک کار مجزا است و ادعای انجام آن را نداریم.