یک بررسی جدید نشان می دهد که چت بات های هوش مصنوعی (AI) آنها را به عنوان واقعیت در نظر گرفته اند و حتی توضیحات مفصلی برای آنها از هیچ ساخته اند.

پژوهشگران در ژورنال Communications Medicine گزارش دادند که چت بات های هوش مصنوعی که به طور گسترده استفاده می شوند، در برابر پذیرش اطلاعات پزشکی جعلی به عنوان اطلاعات واقعی، تکرار و حتی شرح و تفسیر مزخرفاتی که به آنها ارائه شده است، بسیار آسیب پذیر هستند.

دکتر محمود عمر پژوهشگر ارشد و مشاور مستقل گروه پژوهشی مونت سینایی که پشتیبان این تحقیق است، می گوید: آنچه ما در همه جا دیدیم این است که چت بات های هوش مصنوعی را می توان به راحتی با جزییات پزشکی نادرست گمراه کرد، چه این خطاها عمدی باشند و چه تصادفی.

او می افزاید: آنها نه تنها اطلاعات نادرست را تکرار کردند، بلکه اغلب شان این اطلاعات را گسترش دادند و توضیحات مطمئنی برای بیماری های غیر موجود ارائه دادند.

برای مثال، در این بررسی آمده است که یکی از چت بات های هوش مصنوعی، نشانگان کاسپر- لو را به عنوان یک بیماری عصبی نادر با علائمی مانند تب، سفتی گردن و سردرد توصیف کرده است.

به همین ترتیب، بیماری هلکند به عنوان یک اختلال ژنتیکی نادر با سوء جذب روده و اسهال توصیف شده است.

هیچ کدام از این ها درست نیست. در عوض، این پاسخ ها چیزی هستند که پژوهشگران آن را توهم (hallucination) می نامند که به معنای حقایق نادرستی که بوسیله برنامه های هوش مصنوعی گیج شده تولید می شوند.

دکتر عمر گفت: یافته دلگرم کننده این بررسی این است که افزودن یک هشدار ساده و تک خطی که به پیام واره یا پرامپتی که به چت بات داده می شود، این توهمات را به طور چشمگیری کاهش می دهد و نشان می دهد که اقدامات حفاظتی کوچک می توانند تفاوت بزرگی ایجاد کنند.

پژوهشگران برای این بررسی 300 پرس وجوی هوش مصنوعی مربوط به مسائل پزشکی را طراحی کردند که هر کدام شامل یک جزییات ساختگی مانند یک تست آزمایشگاهی ساختگی به نام نوروستاتین سرم یا یک علامت ساختگی مانند علامت مارپیچ قلبی بود.

نتایج نشان داد که میزان توهم در شش چت بات هوش مصنوعی مختلف از 50 تا 82 درصد متغیر بود و این برنامه ها در پاسخ به جزییات ساختگی یاوه گویی های متقاعدکننده ای ارائه می دادند.

دکتر ایال کلنگ، پژوهشگر ارشد در این بررسی گفت: حتی یک اصطلاح ساختگی می تواند منجر به پاسخی دقیق و قاطع شود که کاملاً تخیلی است. کلنگ رییس بخش هوش مصنوعی مولد در دانشکده پزشکی ایکان در مونت سینای در شهر نیویورک است.

اما پژوهشگران در دور دوم یک هشدار یک خطی به پرسش خود اضافه کردند و به هوش مصنوعی یادآوری کردند که اطلاعات ارائه شده ممکن است نادرست باشد.

این پژوهشگران نوشتند: این دستورالعمل در اصل به مدل دستور می داد که فقط از اطلاعات بالینی معتبر استفاده کند و به جای گمانه زنی بیشتر عدم قطعیت را بپذیرد. هدف این بود که با اعمال این محدودیت ها مدل را تشویق کنیم تا عناصر مشکوک را شناسایی و علامت گذاری کند، نه اینکه محتوای بدون پشتوانه تولید کند.

پژوهشگران دریافتند که این هشدار باعث شد میزان توهم به حدود 45 درصد کاهش یابد.

نتایج نشان می دهد که هوش مصنوعی ChatGPT-4o که بهترین عملکرد را داشت، میزان توهم حدود 50 درصد داشت و با اضافه شدن هشدار به پیام واره یا پرامپتی که به هوش مصنوعی داده می شد، این میزان به کمتر از 25 درصد کاهش یافت.

منبع:

همشهری آنلاین