هوش مصنوعی مولد، علیرغم پیشرفت های زیادی که تاکنون داشته است، همچنان از اشکالاتی رنج می برد. یکی از انتقاداتی که به چت ربات های هوش مصنوعی وارد است این است که در برخی موارد پاسخی می دهند که منطقی به نظر می رسد اما در واقعیت اطلاعات آنها نادرست است. در این موارد به اصطلاح هوش مصنوعی دچار توهم می شود. اکنون DeepMind Google راه حلی برای کاهش این اشکال ایجاد کرده است.
طبق پیش‌نویس مقاله‌ای توسط DeepMind و دانشگاه استنفورد، محققان سیستمی به نام Search Augmented Factuality Evaluator یا SAFE ایجاد کرده‌اند که پاسخ‌های طولانی تولید شده توسط ربات‌های چت هوش مصنوعی را اسکن و تأیید می‌کند.
راه حل DeepMind برای کاهش توهم هوش مصنوعی
سیستم SAFE DeepMind پاسخ های هوش مصنوعی را در چهار مرحله تجزیه و تحلیل، پردازش و ارزیابی می کند تا دقت و اعتبار آنها را اندازه گیری کند. ابتدا SAFE پاسخ هوش مصنوعی را به اظهارات یا حقایق فردی تقسیم می کند و پس از بررسی آنها را با نتایج جستجوی گوگل مقایسه می کند. این سیستم همچنین ارتباط هر عبارت را با سؤال اصلی می سنجد.
برای ارزیابی عملکرد SAFE، محققان مجموعه داده ای به نام LongFact ایجاد کردند که مجموعه ای از حدود 16000 عبارت است. برای آزمایش این سیستم، محققان از 13 مدل زبان بزرگ از چهار خانواده مختلف از جمله GPT، Gemini، Cloud و PaLM-2 استفاده کردند.
در 72 درصد موارد، سیستم SAFE همان نتایجی را ارائه داد که وبلاگ نویسان و بازبینان انسانی. در مواردی که توافقی بین سیستم و موارد انسانی وجود نداشت، SAFE در 76 درصد موارد صحیح بود. علاوه بر این، محققان ادعا می کنند که استفاده از این سیستم 20 برابر ارزان تر از بازبینان انسانی است. بنابراین، این سیستم می تواند به عنوان یک راه حل مقرون به صرفه در مقیاس بزرگ مورد استفاده قرار گیرد.
منبع: https://digiato.com/artificial-intelligence/google-deepmind-developed-a-fact-checker-for-ai-chatbots