مؤسسه ملی استاندارد و فناوری (NIST)، آژانس وزارت بازرگانی ایالات متحده که فناوری‌ها را برای دولت، مشاغل و عموم مردم ایالات متحده توسعه و آزمایش می‌کند، روز دوشنبه از راه‌اندازی NIST GenAI، برنامه جدیدی که توسط NIST هدایت می‌شود، خبر داد. ارزیابی فناوری های مولد فناوری‌های هوش مصنوعی، از جمله هوش مصنوعی تولید متن و تصویر.

NIST در توضیح جدید توضیح می‌دهد که NIST GenAI آزمایش‌های معیار را منتشر می‌کند، به ایجاد سیستم‌های تشخیص «اصالت محتوا» (به عنوان مثال، بررسی دقیق جعل) کمک می‌کند و توسعه نرم‌افزاری را برای شناسایی منبع اطلاعات نادرست یا داده‌های گمراه‌کننده تولید شده توسط هوش مصنوعی تشویق می‌کند. وب سایت NIST GenAI و در یک بیانیه مطبوعاتی.

در بیانیه مطبوعاتی آمده است: «برنامه NIST GenAI مجموعه ای از مسائل (در نظر گرفته شده) را برای ارزیابی و اندازه گیری قابلیت ها و محدودیت های فناوری های مولد هوش مصنوعی منتشر خواهد کرد. این ارزیابی‌ها برای شناسایی استراتژی‌هایی برای ارتقای یکپارچگی اطلاعات و هدایت استفاده ایمن و مسئولانه از محتوای دیجیتال استفاده خواهد شد.»

اولین پروژه NIST GenAI یک مطالعه آزمایشی برای ایجاد سیستم هایی است که می توانند به طور قابل اعتماد بین رسانه های ساخته شده توسط انسان و رسانه های تولید شده توسط هوش مصنوعی تمایز قائل شوند، که از متن شروع می شود. (اگرچه بسیاری از سرویس‌ها ادعا می‌کنند که دیپ‌فیک‌ها را شناسایی می‌کنند، مطالعات و آزمایش‌های خودمان نشان داده‌اند که در بهترین حالت، به‌ویژه زمانی که صحبت از متن به میان می‌آید، متزلزل هستند.) NIST GenAI از تیم‌هایی از دانشگاه‌ها، صنعت و آزمایشگاه‌های تحقیقاتی دعوت می‌کند تا یکی از «مولدها» – AI را ارائه کنند. سیستم‌هایی برای تولید محتوا – یا «تبعیض‌کننده‌ها» که سیستم‌هایی هستند که برای شناسایی محتوای تولید شده توسط هوش مصنوعی طراحی شده‌اند.

مولدهای مطالعه باید به شرط داشتن موضوع و مجموعه ای از اسناد، خلاصه تولید کنند، در حالی که متمایزکنندگان باید تشخیص دهند که آیا یک خلاصه داده شده توسط هوش مصنوعی نوشته شده است یا خیر. برای اطمینان از انصاف، NIST GenAI داده‌های مورد نیاز برای آزمایش مولدها و تمایزکنندگان را ارائه می‌کند. سیستم‌هایی که بر روی داده‌های در دسترس عموم آموزش دیده‌اند، از جمله مدل‌های باز مانند Meta’s Llama 3، پذیرفته نمی‌شوند.

ثبت نام برای آزمایشی از اول ماه مه آغاز می شود و انتظار می رود نتایج در فوریه 2025 منتشر شود.

راه‌اندازی NIST GenAI و مطالعه‌ای که بر روی دیپ‌فیک متمرکز شده است، در حالی است که دیپ‌فیک‌ها به طور تصاعدی در حال رشد هستند.

طبق داده های Clarity، یک شرکت تشخیص دیپ فیک، امسال 900٪ بیشتر از مدت مشابه سال گذشته، دیپ فیک بیشتری ایجاد شده است. این باعث نگرانی می شود، قابل درک است. آ اخیر نظر سنجی توسط YouGov دریافت که 85 درصد از آمریکایی‌ها اظهار داشتند که نگران گسترش دیپ‌فیک‌های گمراه‌کننده آنلاین هستند.

راه اندازی NIST GenAI بخشی از پاسخ NIST به فرمان اجرایی رئیس جمهور جو بایدن در مورد هوش مصنوعی است، که قوانینی را وضع کرد که نیازمند شفافیت بیشتر شرکت های هوش مصنوعی در مورد نحوه عملکرد مدل هایشان بود و مجموعه ای از استانداردهای جدید، به ویژه برای برچسب گذاری محتوای تولید شده توسط هوش مصنوعی ایجاد کرد. . .

این همچنین اولین اعلامیه مرتبط با هوش مصنوعی NIST پس از انتصاب پل کریستیانو، محقق سابق OpenAI در موسسه ایمنی هوش مصنوعی این آژانس است.

کریستیانو به دلیل دیدگاه‌های «فاجعه‌آمیز» او گزینه‌ای بحث‌برانگیز بود. او یک بار پیش بینی کرد که “احتمال 50 درصدی وجود دارد که توسعه هوش مصنوعی منجر به (نابودی بشریت) شود.” منتقدان، از جمله دانشمندان در NIST، نگران هستند که کریستیانو مؤسسه ایمنی هوش مصنوعی را تشویق می کند تا به جای خطرات واقعی و فوری ناشی از هوش مصنوعی، روی «سناریوهای فانتزی» تمرکز کند.

NIST می گوید NIST GenAI کار موسسه ایمنی هوش مصنوعی را مطلع خواهد کرد.