چطور کیفیت پاسخ فارسی AI Agent را بسنجیم؟ از نیم‌فاصله تا پرسش‌های محاوره‌ای

ارزیابی یک AI Agent فارسی فقط بررسی درست‌نویسی یا روان‌بودن جمله‌ها نیست. کاربر ممکن است یک واژه را با املای متفاوت بنویسد، از زبان محاوره استفاده کند یا اصطلاح فارسی را با نام محصول انگلیسی ترکیب کند. برای سنجش قابل‌اعتماد، باید هم نحوهٔ پیدا کردن اطلاعات و هم کیفیت پاسخ نهایی را با نمونه‌هایی نزدیک به استفادهٔ واقعی بررسی کرد.

نمونه‌های واقعی و متنوع گردآوری کنید

مجموعهٔ آزمون را فقط از پرسش‌های ویرایش‌شده نسازید. سؤال‌های پرتکرار، عبارت‌های محاوره‌ای، غلط‌های رایج تایپی، پرسش‌های ناقص و ترکیب فارسی و انگلیسی را در آن بگنجانید. نمونه‌های گفتگو باید پیش از استفاده بازبینی شوند و اطلاعات شخصی یا محرمانه از آن‌ها حذف شود. برای هر سؤال، پاسخ مرجع یا معیار مشخصی ثبت کنید تا ارزیاب بداند چه اطلاعاتی باید در پاسخ بیاید.

تفاوت‌های نوشتاری فارسی را در نظر بگیرید

کاربران ممکن است از شکل عربی یا فارسی برخی حروف، فاصله یا نیم‌فاصله و شیوه‌های مختلف نوشتن عدد استفاده کنند. یکدست‌سازی این موارد می‌تواند جست‌وجو را بهتر کند، اما نباید متن اصلی را از بین ببرد یا نام محصول، کد و شماره را تغییر دهد. یک رویکرد عملی این است که متن اصلی حفظ شود و نسخهٔ نرمال‌شده فقط در فرایند جست‌وجو و مقایسه استفاده شود. سپس با آزمون‌های نمونه بررسی کنید که تغییر واقعاً نتیجهٔ مرتبط‌تری پیدا می‌کند.

بازیابی و پاسخ را جداگانه ارزیابی کنید

اگر Agent از پایگاه دانش استفاده می‌کند، دو پرسش جدا مطرح است: آیا منبع مرتبط پیدا شده؟ و آیا پاسخ نهایی اطلاعات آن منبع را درست و کامل منتقل کرده است؟ ممکن است سند معتبر پیدا شود اما پاسخ یکی از شرط‌ها را حذف کند. همچنین ممکن است پاسخ روان باشد اما پشتوانه‌ای در منابع نداشته باشد. کیفیت بازیابی، درستی محتوا، پوشش نکات لازم و خوانایی را جداگانه امتیاز دهید.

پرسش‌های مبهم و بی‌پاسخ را هم بیازمایید

سؤال‌های چندبخشی، ارجاع به پیام قبلی، نام‌های تجاری، واژه‌های تخصصی و پرسش‌هایی را وارد کنید که پاسخشان در منابع موجود نیست. در حالت بی‌پاسخ، بررسی کنید Agent کمبود اطلاعات را روشن بیان می‌کند یا به‌جای حدس‌زدن، سؤال تکمیلی می‌پرسد یا مسیر ارجاع را پیشنهاد می‌دهد. این رفتار به اندازهٔ پاسخ‌گویی به سؤال‌های ساده بخشی از کیفیت است.

لحن و نگارش را از صحت جدا کنید

خوانایی فارسی، لحن مناسب، کاربرد نیم‌فاصله و حفظ واژه‌های تخصصی را ارزیابی کنید؛ اما امتیاز زبانی را با صحت اطلاعات یکی نگیرید. پاسخ خوش‌خوانی که اطلاعات اشتباه می‌دهد، پاسخ باکیفیتی نیست. معیارها را پیش از ارزیابی بنویسید تا چند ارزیاب بتوانند پاسخ مشابه را با روش یکسان بررسی کنند.

یک چرخهٔ بهبود تکرارپذیر بسازید

پس از تغییر دستورالعمل Agent، منابع دانش یا تنظیمات جست‌وجو، همان مجموعهٔ آزمون را دوباره اجرا کنید. بخشی از نتایج را کارشناسان فارسی‌زبان بازبینی کنند و از بازخورد کاربران برای افزودن نمونه‌های تازه بهره ببرید. گزارش ارزیابی باید روشن کند Agent در چه نوع سؤال‌هایی خوب عمل می‌کند و کجا به اصلاح نیاز دارد. به این ترتیب، بهبود کیفیت فارسی با شواهد سنجیده می‌شود، نه فقط با چند پاسخ موفق در نمایش آزمایشی.