ابزارهای هوش مصنوعی با پاورپوینت فارسی چه می‌کنند؟ نتیجه یک بنچمارک بازتولیدپذیر
۸ درخواست فارسی را بدون هیچ دستکاری به Gamma، Canva و پریزنت دادیم و هر ارائه را دو جور سنجیدیم: یک بار از روی XML فایل PPTX و یک بار با داور بینایی که تصویر هر اسلاید را از نظر راستچین، شکل حروف، ترتیب متن دوجهته، بیرون‌زدگی و فارسی بودن نمره داد. نتیجه به‌صورت مقاله با DOI روی Zenodo منتشر شده و همه درخواست‌ها، ارائه‌ها، نمره‌ها و کدها قابل دانلود است.
تیم پریزنت،
این پژوهش را نویسنده پریزنت انجام داده و این تضاد منافع در خود مقاله اعلام شده است. برای کم کردن سوگیری، درخواست‌ها پیش از ساخت ارائه ابزارهای دیگر ثابت شدند، نمره‌دهی خودکار و با کد منتشرشده است، داور یک مدل شخص ثالث است و ضعف‌های خود پریزنت هم گزارش شده است. متن کامل: مقاله در Zenodo.
روش کار در یک نگاه
- ۸ درخواست فارسی از ۸ حوزه (آموزش، کسب‌وکار، دانشگاه، گزارش سازمانی، فناوری، سلامت، تاریخ و بازاریابی)، هر کدام برای یک ارائه ۸ اسلایدی.
- پلن رایگان و تنظیمات پیش‌فرض هر ابزار، هر درخواست یک بار، همه در ۱۴ آبان ۱۴۰۵.
- دو نوع سنجش: متریک‌های قطعی از XML فایل PPTX، و داور بینایی روی تصویر اسلایدها، هم از خروجی PDF خود ابزار و هم از PPTX دانلودشده که با LibreOffice و فونت خنثی باز شد.
- Canva در پلن رایگان فقط ۲ ارائه از ۸ را ساخت و بعد ارتقای پلن خواست؛ برای همین نتیجه‌اش جدا و با احتیاط خوانده می‌شود.
نمره داور بینایی
| معیار | پریزنت | Gamma | Canva |
|---|---|---|---|
| چیدمان راستچین | ۴٫۸۶ | ۴٫۵۳ | ۳٫۵۶ |
| شکل و اتصال حروف | ۵٫۰۰ | ۵٫۰۰ | ۵٫۰۰ |
| ترتیب متن دوجهته | ۴٫۹۲ | ۴٫۸۰ | ۳٫۸۸ |
| بدون بیرون‌زدگی متن | ۵٫۰۰ | ۴٫۹۲ | ۴٫۹۴ |
| درستی زبان فارسی | ۴٫۹۸ | ۴٫۷۷ | ۴٫۸۸ |
| اسلایدهای با مشکل جدی (نمره ۲ یا کمتر) | ۳٪ | ۱۱٪ | ۲۵٪ |
شکل حروف فارسی دیگر مشکل هیچ‌کدام از ابزارها نیست. فرق اصلی در جهت چیدمان و ترتیب متن‌های دوجهته است، مثل نام انگلیسی یک مدل وسط جمله فارسی یا ترتیب ستون‌های جدول و مرحله‌های یک فرایند.
آنچه در خود فایل PPTX دیده شد
| متریک | پریزنت | Gamma | Canva |
|---|---|---|---|
| پاراگراف فارسی با پرچم راست‌به‌چپ | ۱۰۰٪ | ۸۶٪ | ۱۰۰٪ |
| پاراگراف فارسی راستچین | ۹۰٪ | ۹۸٪ | ۴۸٪ |
| عدد فارسی در متن فارسی | ۱۰۰٪ | ۹۷٪ | ۶۸٪ |
| جدول بومی PPTX | ۰ | ۵ (هیچ‌کدام با پرچم راست‌به‌چپ جدول) | ۰ |
| جای خالی پرنشده مثل [عدد] | ۰ | ۴۴ در یک ارائه | ۰ |
| فونت جاسازی‌شده در فایل | ۸ از ۸ | ۶ از ۸ | ۲ از ۲ |
- Gamma بیشترین سهم پاراگراف راستچین را داشت، ولی در یک ارائه جدول درخواستی را با ۴۴ جای خالی مثل [عدد واقعی] و [درصد] تحویل داد. جدول‌هایش در خود Gamma درست دیده می‌شوند، ولی چون پرچم راست‌به‌چپ جدول را ندارند، بیرون از Gamma ترتیب ستون‌ها برعکس می‌شود.
- Canva شکل حروف را درست نگه داشت، ولی در یک ارائه کل متن بدنه را چپ‌چین کرد و فایل PPTX آن در LibreOffice بیشترین افت را داشت.
- پریزنت کمترین اسلاید با مشکل جدی را داشت، ولی دو ضعف واقعی هم دارد: جدول‌هایش جدول بومی PPTX نیستند و از شکل ساخته می‌شوند، و فونت فارسی‌اش عددهای داخل نام‌های لاتین، مثل شماره نسخه مدل ResNet، را هم با رقم فارسی نشان می‌دهد که برای مخاطب فنی ناآشناست.
![سه اسلاید Gamma: جدول هزینه درست، جدول فروش با جای خالی [عدد] و جدول مقایسه چپ‌به‌راست](/blog/persian-ai-slide-benchmark/ex-gamma-1400.webp)
محدودیتها
نمونه کوچک است: ۸ درخواست، هر کدام یک بار، و فقط ۲ ارائه از Canva. فاصله‌های چند دهم نمره را نباید بزرگ کرد. داور یک مدل زبانی بینایی است که با بازبینی انسانی ۸۷٪ هم‌خوانی کامل داشت. LibreOffice هم همان PowerPoint نیست. پلن‌های پولی، قالب‌های دیگر یا درخواست‌های دقیق‌تر می‌توانند نتیجه را تغییر دهند و این عددها وضعیت ۱۴ آبان ۱۴۰۵ است.
داده و کد
همه چیز عمومی است: ۸ درخواست و فهرست نیازهای هر کدام، همه ارائه‌های ساخته‌شده (PPTX و PDF)، تصویر اسلایدها، پاسخ داور، نمره‌های بازبینی انسانی و اسکریپت‌های جمع‌آوری و نمره‌دهی. مقاله با مجوز CC BY 4.0 و کد با مجوز MIT منتشر شده است. مقاله و بسته داده را از صفحه DOI مقاله در Zenodo دانلود کن؛ همین داده با جدول نمره‌ها روی Hugging Face هم هست. برای مقایسه ابزارها از نگاه کاربر، بهترین هوش مصنوعی برای ساخت پاورپوینت فارسی را هم ببین.
منبع‌ها
- مقاله و بسته داده در Zenodo
- دیتاست بنچمارک در Hugging Face
- استاندارد الگوریتم دوجهته یونیکد (UAX #9)
- راهنمای Gamma درباره زبان‌های راست‌به‌چپ
پرسش‌های رایج
کدام ابزار هوش مصنوعی پاورپوینت فارسی را بهتر میسازد؟
در این بنچمارک ۸ درخواستی، پریزنت در چیدمان راستچین بیشترین نمره (۴٫۸۶ از ۵) و کمترین اسلاید با مشکل جدی (۳٪) را داشت، Gamma نمره ۴٫۵۳ و ۱۱٪، و Canva در پلن رایگان فقط ۲ ارائه ساخت. نمونه کوچک است و جزئیات و محدودیتها در مقاله آمده است.
این مقاله کجا منتشر شده است؟
روی Zenodo با شناسه DOI 10.5281/zenodo.23976939؛ مقاله PDF و بسته کامل داده و کد رایگان قابل دانلود است.
این پژوهش بی‌طرف است؟
نویسنده سازنده پریزنت است و این تضاد منافع در مقاله اعلام شده است. برای همین درخواست‌ها از پیش ثابت شدند، نمره‌دهی خودکار و کدش منتشر شده، داور مدل شخص ثالث است و ضعف‌های پریزنت هم گزارش شده است.