توهم هوش مصنوعی: چرا مدل های زبانی با اطمینان کامل، حرف های نادرست می زنند؟

تصور کنید از یک مدل زبانی می خواهید برای یک پست تبلیغاتی، آماری درباره بازار یک محصول بنویسد. مدل در چند ثانیه متنی روان و حرفه ای تحویل می دهد؛ با عدد و درصد و حتی ارجاع به یک پژوهش. همه چیز درست به نظر می رسد، تا وقتی که دنبال آن پژوهش می گردید و می فهمید اصلا چنین پژوهشی وجود ندارد؛ عدد هم ساخته ذهن مدل است. به این پدیده «توهم» می گویند؛ یکی از جدی ترین چالش های مدل های زبانی بزرگ. توهم چیست، چرا رخ می دهد و تولیدکننده محتوا با آن چه باید بکند؟

_{توهم یعنی چه؟}

توهم یعنی تولید خروجی ای که روان، منطقی و مطمئن به نظر می رسد، اما نادرست یا بی پشتوانه است. مدل دروغ نمی گوید؛ دروغ گفتن نیازمند قصد است و مدل قصدی ندارد. او فقط محتمل ترین ادامه متن را تولید می کند و گاهی آن ادامه، واقعیت ندارد. خطر توهم دقیقا در ظاهر قانع کننده آن است: خطا با همان لحن مطمئن یک پاسخ درست بیان می شود.

پژوهشگران معمولا توهم را به چند دسته تقسیم می کنند. در مرور جامعی که جی و همکارانش در سال ۲۰۲۳ منتشر کردند، دو دسته اصلی معرفی شد: «توهم درونی» وقتی رخ می دهد که خروجی مدل با منبعی که خودش در اختیارش گذاشته اید در تضاد باشد؛ مثلا متنی را برای خلاصه سازی به مدل می دهید و او تاریخی را می نویسد که در متن اصلی نیست. «توهم بیرونی» وقتی است که مدل اطلاعاتی اضافه می کند که از هیچ منبعی قابل تایید نیست؛ یک پژوهش ساختگی، یک رویداد تاریخی که هرگز رخ نداده، یا یک آمار از هیچ جا. دسته بندی دیگری هم میان «خطای واقعی» و «خطای وفاداری» تفاوت می گذارد: در اولی، گفته مدل درباره جهان بیرون نادرست است؛ در دومی، مدل به دستور یا سندی که داده اید وفادار نمی ماند، حتی اگر گفته اش به تنهایی درست باشد.

اهمیت این موضوع تا جایی است که موسسه ملی استاندارد و فناوری آمریکا در سند «پروفایل هوش مصنوعی مولد» (ژوئیه ۲۰۲۴) «ساختن اطلاعات نادرست» را در فهرست ریسک های هوش مصنوعی مولد قرار داد؛ یعنی توهم نه یک باگ جزئی، بلکه ریسکی شناخته شده است که در طراحی سیستم های مبتنی بر هوش مصنوعی باید برای آن چاره اندیشید.

_{چرا مدل ها توهم می زنند؟}

دلیل اصلی در شیوه آموزش مدل نهفته است. مدل زبانی در مرحله پیش آموزش، یاد می گیرد محتمل ترین کلمه بعدی را پیش بینی کند. در این فرآیند، هیچ سازوکار درونی برای بررسی درستی یک گزاره وجود ندارد؛ مدل یاد می گیرد چه چیزی «محتمل» است، نه چه چیزی «درست» است. پژوهشگران اوپن ای آی، آدام تاومن کالای و سانتوش ومپالا، در مقاله ای در سپتامبر ۲۰۲۵ با عنوان «چرا مدل های زبانی توهم می زنند» نشان دادند که مشکل فقط در آموزش نیست؛ در شیوه ارزیابی هم هست. بنچمارک های رایج به مدلی که همیشه پاسخ می دهد، امتیاز بیشتری می دهند تا مدلی که در صورت عدم اطمینان، از پاسخ دادن خودداری می کند. نتیجه این است که سیستم به حدس زدن با اعتمادبه نفس پاداش می دهد، نه به اعتراف به ندانستن.

عوامل دیگری هم در کارند. داده های آموزشی عظیم و برگرفته از وب، به ناچار شامل اطلاعات قدیمی، ناقص یا نادرست اند و مدل این خطاها را به ارث می برد. همچنین مدلی که در میانه تولید دچار خطا شود، معمولا نمی تواند به عقب برگردد و خطا را اصلاح کند؛ چون روی متن تمیز انسانی آموزش دیده است و بازیابی از اشتباه خودش را نیاموخته است.

شاید شگفت انگیزترین یافته این باشد که مدل های جدیدتر همیشه کم توهم تر نیستند. کارت سیستمی اوپن ای آی برای مدل های استدلال گر او۳ و او۴-مینی نشان می دهد که در آزمون پرسش های واقعی «پراسن کیو ای»، نرخ توهم او۳ حدود ۳۳ درصد و او۴-مینی حدود ۴۸ درصد است؛ در حالی که نسل قبلی، او۱، حدود ۱۶ درصد بود. در بنچمارک وتارا که میزان توهم در خلاصه سازی یک سند داده شده را می سنجد، نرخ توهم مدل های مختلف در نسخه به روزشده سال ۲۰۲۶ بین حدود ۲ تا ۲۴ درصد متغیر است. پیام این اعداد روشن است: «نرخ توهم» یک عدد واحد و ثابت نیست؛ به نوع آزمون، به اینکه مدل سند در اختیار دارد یا از حافظه خودش پاسخ می دهد، و به خود مدل بستگی دارد.

_{پیامدهای واقعی}

توهم فقط یک کنجکاوی پژوهشی نیست و پیامدهای واقعی داشته است. در پرونده معروف «ماتا در برابر اویانکا» در سال ۲۰۲۳، وکیلی در نیویورک لایحه ای به دادگاه ارائه کرد که شامل ارجاع هایی ساختگی بود که چت جی پی تی تولید کرده بود؛ دادگاه او را جریمه کرد. پایگاه داده دیمین شارلوتن، پژوهشگر دانشگاه اچ ای سی پاریس، تا پایان اکتبر ۲۰۲۶ بیش از ۲٬۲۰۰ تصمیم دادگاه در سراسر جهان را ثبت کرده است که در آن ها محتوای ساخته شده توسط هوش مصنوعی به کار رفته بود.

در حوزه خبر هم وضعیت نگران کننده است. مطالعه ای که «کلمبیا جورنالیزم ریویو» انجام داد نشان داد که هشت ابزار جست وجوی مولد، در بیش از ۶۰ درصد از پرسش های آزموده شده درباره ارجاع های خبری، پاسخ نادرست دادند. در برنامه نویسی نیز مطالعه ای در کنفرانس امنیت یوسنیکس ۲۰۲۵ نشان داد که بیش از یک پنجم بسته های نرم افزاری پیشنهادی مدل های متن باز، اصلا وجود خارجی نداشتند؛ یعنی مدل نام بسته ای را ساخته بود که هرگز منتشر نشده است.

_{چه می توان کرد؟}

خبر خوب این است که توهم، هرچند حذف شدنی نیست، اما قابل کاهش و قابل مدیریت است. نخستین و موثرترین راه، «اتصال به منبع» است: به جای اینکه از مدل بخواهیم از حافظه خودش پاسخ دهد، سند یا داده معتبر را در اختیارش می گذاریم تا بر اساس آن بنویسد؛ این همان ایده ای است که در نسل بازیابی تقویت شده یا رگ به کار می رود و نرخ توهم را به طور چشمگیری پایین می آورد.

راه دوم، طراحی پرامپت است. پژوهش منتشرشده در سال ۲۰۲۵ در نشریه پزشکی دیجیتال نشان داد که تنها با بهبود پرامپت، نرخ توهم مدل جی پی تی-۴او از ۵۳ درصد به ۲۳ درصد کاهش یافت؛ در حالی که تغییر دما به تنهایی اثر چندانی نداشت. از مدل بخواهید فقط بر اساس اطلاعات داده شده پاسخ دهد، منابعش را مشخص کند، و اگر مطمئن نیست، بگوید نمی داند. سوم، راستی آزمایی انسانی است: هر عدد، تاریخ، نقل قول و ارجاع در خروجی مدل، پیش از انتشار باید با یک منبع مستقل چک شود.

_{یک مثال از دنیای تولید محتوا}

فرض کنید برای معرفی یک محصول، از مدل می خواهید «یک آمار جذاب درباره بازار این محصول» بدهد. مدل با اطمینان می نویسد: «۷۳ درصد مصرف کنندگان ترجیح می دهند...» و نام یک موسسه پژوهشی را هم کنارش می گذارد. اگر این متن را بدون بررسی منتشر کنید، برند شما یک آمار ساختگی را به نام خودش منتشر کرده و اعتماد مخاطب را به خطر انداخته است. روش درست این است: اول از مدل بخواهید به جای آمار، ایده و ساختار متن را بدهد؛ بعد خودتان آمار را از یک منبع معتبر پیدا کنید و به مدل بدهید تا در متن بگنجاند؛ و در پایان، پیش از انتشار، عدد و منبع را یک بار دیگر چک کنید. در تولید محتوای با هوش مصنوعی، مدل بهترین «نویسنده پیش نویس» است، نه «مرجع نهایی حقیقت».

 _{جمع بندی}

توهم، ویژگی ساختاری مدل های زبانی است، نه نقصی موقتی که با بزرگ تر شدن مدل ها خودبه خود از بین برود. مدل ها یاد گرفته اند متن محتمل تولید کنند، نه متن درست، و نظام ارزیابی فعلی به حدس زدن با اعتمادبه نفس پاداش می دهد. پژوهش های تازه نشان می دهند که حتی پیشرفته ترین مدل ها هم به طور قابل اندازه گیری دچار توهم می شوند؛ به ویژه وقتی از حافظه خودشان پاسخ می دهند. اما با اتصال به منبع معتبر، پرامپت نویسی درست و راستی آزمایی انسانی پیش از انتشار، می توان این ریسک را به سطحی قابل مدیریت رساند. برای کسی که با هوش مصنوعی محتوا تولید می کند، شناخت توهم یک مهارت حرفه ای است؛ مرز میان یک دستیار قدرتمند و یک منبع خطا، دقیقا همان جایی است که بررسی انسانی آغاز می شود.