بهترین هوش مصنوعی برای ترجمه فارسی

دو مولفه ای که در این معماری از هم جدا افتاده اند

کوهر مدلی با نام Command A Translate در کاتالوگ خود دارد و در مستندات فنی آن را صراحتا «مدل ترجمه ماشینی» اختصاصی خود معرفی کرده است. همان مستندات ۲۳ زبان پشتیبانی شده را تک به تک فهرست می کند: انگلیسی، فرانسوی، اسپانیایی، ایتالیایی، آلمانی، پرتغالی، ژاپنی، کره ای، چینی، عربی، روسی، لهستانی، ترکی، ویتنامی، هلندی، چکی، اندونزیایی، اوکراینی، رومانیایی، یونانی، هندی، عبری و فارسی.

هر چهار زبانی که این سایت با آنها منتشر می شود، درون همین فهرست ۲۳ تایی قرار دارند. برای هر پروژه با استقرار دوزبانه یا چندزبانه، این دقیق ترین سند موجود درباره پوشش زبانی در کل این مرجع است.

در طرف مقابل معماری، متا لاما ۴ را با وزن باز عرضه می کند و پروانه آن استفاده تجاری را هم مجاز می داند؛ یعنی مولفه ای که می توان آن را روی زیرساخت داخلی مستقر کرد و خروجی اش را به فروش رساند. مشخصات فنی آن فهرست بسته دوازده زبانه دارد: عربی، انگلیسی، فرانسوی، آلمانی، هندی، اندونزیایی، ایتالیایی، پرتغالی، اسپانیایی، تاگالوگ، تایلندی و ویتنامی. فارسی در این فهرست نیست. ترکی هم نیست. متا این فهرست را با عبارتی مانند «از جمله» باز نگذاشته، پس این یک مشخصه بسته و قطعی است.

در نتیجه، محور رتبه بندی این دسته کیفیت خروجی نیست؛ محور آن این است: آیا زبان مقصد شما در مشخصات فنی مدل ثبت شده، و آیا اصلا مسیر دسترسی به آن باز است.

وارونگی پنجره متن در معماری این دو مدل

Command A Translate پنجره عملیاتی هشت هزار توکنی دارد؛ کوتاه ترین ظرفیت در کل این کاتالوگ، کوتاه تر از هر مولفه دیگری که در این مرجع ثبت شده. لاما ۴ اسکات در سوی دیگر، پنجره ده میلیون توکنی دارد، بلندترین مقدار ثبت شده.

یعنی مولفه ای که فارسی را می شناسد، ظرفیت پردازش چند صفحه دارد، و مولفه ای که فارسی را نمی شناسد، یک کتاب کامل را در یک فراخوانی می پذیرد. این یک تصادف معماری نیست: مدل ترجمه اختصاصی برای واحد جمله و پاراگراف طراحی شده، نه برای سند کامل.

پیامد عملیاتی این وارونگی جایی مستند نشده: با یک مدل ترجمه اختصاصی، پایپ لاین ترجمه یک سایت باید صفحه به صفحه اجرا شود، نه در یک عبور یکپارچه. اگر نیاز عملیاتی شما عبور یک سند بلند در یک فراخوانی است، در واقع مولفه ای را انتخاب می کنید که برای این بار کاری طراحی نشده، و این انتخاب باید آگاهانه در معماری پروژه ثبت شود.

چرا باز بودن پروانه در این دسته وزن ۳۰ می گیرد

در سایر دسته های این مرجع، وزن باز بودن پروانه یک مولفه جانبی در معماری امتیازدهی است. در این دسته چنین نیست.

دلیل مستقیم است: برای کاربر ایرانی، همان لایه از زیرساخت که در عمل غیرقابل استفاده است، API میزبانی شده است. توافق تجاری کوهر ایران را صریحا در تعریف Restricted Location خود ثبت کرده است. بنابراین مولفه ای که وزن آن منتشر شده و پروانه آن استفاده تجاری را مجاز می کند، در این معماری یک جزء عملیاتی واقعی است؛ بقیه مولفه ها صرفا مستنداتی درباره یک ابزار غیرقابل استقرار هستند.

همین معیار، تفاوتی را آشکار می کند که یک پرچم دودویی «باز است یا نه» پنهان می کند. آیا اکسپنس وزن باز منتشر می کند، اما زیر پروانه CC BY-NC عمل می کند؛ یعنی اگر آن را برای ترجمه تجاری سایت مشتری به کار ببرید و بابتش هزینه دریافت کنید، پروانه را نقض کرده اید. لاما ۴ استفاده تجاری را مجاز می داند، اما زیر پروانه اختصاصی متا با سقف ۷۰۰ میلیون کاربر فعال ماهانه و الزام درج نشان Built with Llama. میسترال لارج ۳ زیر پروانه آپاچی ۲ عرضه شده، آزادترین پروانه در کل این جدول، اما فارسی را در مشخصات فنی خود ثبت نکرده است.

چهار معیاری که عمدا از این رابرک حذف شده اند

نمره کیفیت ترجمه. کوهر Command A Translate را «مدل ترجمه ماشینی پیشرفته» خود معرفی می کند، بدون انتشار هیچ عدد قابل استناد. سایر سازنده ها هم چنین عددی منتشر نکرده اند. ستونی که برای هیچ نامزدی مقدار ندارد، در معماری رابرک جایی ندارد.

قیمت. از هفت نامزد این جدول، تنها دو مورد قیمت منتشرشده دارند. کوهر برای نسل جدید مدل هایش نرخی چاپ نمی کند، میسترال اصلا نرخ سطح مدل منتشر نمی کند، و متا وزن مدل را عرضه می کند بدون آنکه قیمتی در میان باشد. ستونی با تنها دو سلول پر، پنج نامزد دیگر را بدون دلیل فنی در رتبه پایین می کشد.

جهت ترجمه. کیفیت ترجمه متقارن نیست: مسیر فارسی به انگلیسی با مسیر انگلیسی به فارسی از نظر عملکردی یکسان نیستند، و این برای هر مترجم حرفه ای شناخته شده است. هیچ سازنده ای در این مرجع داده مجزا برای هر جهت منتشر نمی کند، پس این صفحه هم درباره آن ادعایی ندارد. فهرست زبان یک مجموعه است، نه یک جفت جهت دار.

و پنجره متن، معیاری که به صورت آزمایشی وارد رابرک شد و سپس حذف شد؛ دلیل حذف آن را اینجا ثبت می کنیم چون برای دسته های بعدی هم کاربرد دارد. موتور رتبه بندی هر ستون عددی را بین کمینه و بیشینه نامزدها نرمال سازی می کند. در اینجا کمینه پنجره ۸ هزار توکن است و بیشینه ۱۰ میلیون، فاصله ای در حد سه مرتبه بزرگی. نتیجه عملی این بود که ۲۵۶ هزار توکن از سقف ۱۵ نمره ۰.۴ می گرفت و ۱۲۸ هزار توکن ۰.۲، در حالی که فاصله واقعی میان ۸ هزار و ۲۵۶ هزار در عمل ۳۲ برابر است. ستونی که یک تفاوت ۳۲ برابری را به صورت «۰.۴ در برابر ۰.۲» نشان می دهد، آن تفاوت را اندازه گیری نمی کند؛ این معیار خطای سیستماتیک تولید می کند. به همین دلیل عدد از جدول خارج شد و تحلیل آن در متن بالا باقی ماند.

دو ردیف بدون رتبه در این معماری

زیر جدول دو نامزد قرار دارند که موتور رتبه بندی نتوانسته برایشان رتبه محاسبه کند، هر دو به یک دلیل مشترک: سازنده برای همان مدل مشخص فهرست زبان منتشر نکرده است.

یکی Command A+ است، پرچمدار خط تولید کوهر. مستندات کوهر برای این مدل ادعای «توانایی ترجمه در سطح جهانی» را ثبت می کند، اما هیچ فهرست زبان و هیچ عدد قطعی برای آن منتشر نمی کند. یعنی ادعای عملکردی وجود دارد، بدون داده ای که بتوان به آن استناد کرد.

دیگری میسترال لارج ۳ است که آزادترین پروانه کل این جدول را دارد: آپاچی ۲، وزن باز، مجوز کامل استفاده تجاری، دقیقا همان مشخصه ای که این دسته وزن دوم را به آن اختصاص داده است. با این حال میسترال برای لارج ۳ نه فهرست زبان منتشر می کند و نه فهرست کشور، و همان فهرست جزئی هم صراحتا کامل اعلام نشده. مدلی که از نظر پروانه بهترین گزینه این جدول بود، صرفا به دلیل نبود این دو سند از جدول رتبه بندی حذف شد.

این وضعیت پنهان نمی شود، چون همین شفافیت است که اعتبار جدول را تضمین می کند: نامزدی که شاهد مستند ندارد، رتبه نمی گیرد، حتی وقتی فرضیه ما این باشد که عملکردش خوب است.

آنچه این جدول اندازه گیری نمی کند

هر سلول ستون فارسی روی این صفحه فقط این را می گوید: سازنده این زبان را در مشخصات فنی اش ثبت کرده است. هیچ خروجی واقعی خوانده یا ارزیابی نشده.

این همان محدودیت روش شناسی است که دسته صداگذاری هم دارد، و مرز صادقانه کل این متدولوژی همین است. ما فهرست های منتشرشده رسمی را می خوانیم و به آنها استناد می کنیم؛ ارزیابی میزان طبیعی بودن خروجی فارسی این مدل ها یک کار مجزا است و ادعای انجام آن را نداریم.