Behzad Hossein Abbasi
محقق و پژهشگر مستقل و بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش
62 یادداشت منتشر شدهدرون ذهن مدل زبانی: خودرمزگذارهای پراکنده چگونه افکار پنهان هوش مصنوعی را آشکار می کنند
4 آبان 1405 - خواندن 4 دقیقه - 33 بازدید
مدل های زبانی بزرگ امروز متن می نویسند، کد می نویسند و مسئله حل می کنند، اما وقتی از آن ها می پرسیم چرا چنین پاسخی داده اند، معمولا توضیحی پسینی می دهند، نه گزارشی از سازوکار واقعی درون شان. همین شکاف میان عملکرد چشمگیر و فهم اندک، پرسش اصلی شاخه ای به نام تفسیرپذیری مکانیکی است: آیا می توانیم بفهمیم درون مدل چه می گذرد، یا باید برای همیشه با یک جعبه سیاه کنار بیاییم؟ ابزار اصلی این شاخه در سال های اخیر، خودرمزگذارهای پراکنده بوده اند.
چرا بررسی تک تک نورون ها کافی نیست
نخستین مانع، چندمعنایی نورون هاست. یک نورون معمولا فقط به یک مفهوم پاسخ نمی دهد؛ ممکن است هم به نام یک شهر، هم به الگویی نحوی و هم به لحنی خاص واکنش نشان دهد. فرضیه برهم نهی این پدیده را چنین توضیح می دهد: مدل باید مفاهیمی بسیار بیشتر از تعداد نورون هایش را بازنمایی کند، پس ناگزیر است چند مفهوم را با هم پوشانی در فضای مشترکی ذخیره کند. نتیجه، کارایی بیشتر در برابر خوانایی کمتر است.
خودرمزگذار پراکنده چه می کند
خودرمزگذار پراکنده، شبکه ای دوم است که بر فعال سازی های یک لایه از مدل اصلی سوار می شود. این شبکه، فعال سازی را به مجموعه ای بسیار بزرگ تر از ویژگی ها تجزیه می کند، با این قید که در هر لحظه فقط تعداد کمی از ویژگی ها فعال باشند، و سپس می کوشد فعال سازی اولیه را از همان ویژگی های اندک بازسازی کند. اگر بازسازی دقیق باشد و ویژگی ها تک معنا باشند، هر ویژگی را می توان به یک مفهوم مشخص نسبت داد: یک مکان، یک الگوی کدنویسی، یک لحن، یا یک مفهوم انتزاعی. به این روش یادگیری فرهنگ لغت گفته می شود.
از مدلی کوچک تا کلود
آنتروپیک در مقاله ای در اکتبر ۲۰۲۳ نشان داد این روش در مدلی کوچک و تک لایه جواب می دهد. گام تعیین کننده، مقاله مه ۲۰۲۴ با عنوان مقیاس پذیری تک معنایی بود که در آن همین روش روی کلود ۳ سانت به کار رفت و میلیون ها ویژگی قابل تفسیر از لایه های میانی مدل استخراج شد. بسیاری از ویژگی ها چندزبانه و برخی چندوجهی بودند. در میان یافته ها، ویژگی هایی برای پل گلدن گیت، آسیب پذیری های امنیتی در کد، تملق، فریب و تعصب دیده شد. پژوهشگران همان جا هشدار دادند که وجود یک ویژگی مربوط به محتوای خطرناک، به معنای آن نیست که مدل آن رفتار را دارد؛ دانستن یک مفهوم با انجام دادن آن فرق دارد.
وقتی یک ویژگی را بلند می کنیم
مشهورترین آزمایش این پژوهش، تقویت ویژگی پل گلدن گیت بود. وقتی پژوهشگران فعال سازی آن ویژگی را بالا بردند، کلود در پاسخ به پرسش های نامربوط هم به پل اشاره می کرد و حتی خود را پل می دانست. این آزمایش نشان می داد ویژگی های استخراج شده صرفا برچسب های توصیفی نیستند، بلکه در رفتار مدل نقش علی دارند. همین ایده بعدها گسترش یافت؛ برای نمونه، دیپ مایند در سال ۲۰۲۴ مجموعه جما اسکوپ را منتشر کرد که خودرمزگذارهای پراکنده آموزش دیده روی مدل های جما ۲ را در اختیار پژوهشگران گذاشت.
محدودیت ها را دست کم نگیریم
با وجود این پیشرفت، تفسیرپذیری هنوز راه درازی در پیش دارد. همه ویژگی های استخراج شده تفسیرپذیر نیستند و گاهی یک مفهوم به چند ویژگی خرد می شود یا چند مفهوم در یک ویژگی باقی می مانند. بازسازی فعال سازی نیز همیشه بی نقص نیست و آموزش این شبکه های دوم برای مدل های بسیار بزرگ، هزینه محاسباتی چشمگیری دارد. مهم تر از همه، هدایت آزمایشگاهی یک ویژگی با کنترل رفتار یک محصول واقعی فرق دارد.
با این همه، اهمیت این مسیر روشن است. اگر بتوانیم ویژگی های درونی مدل را بخوانیم، می توانیم علت خطاها را بهتر ردیابی کنیم، ویژگی های حساس به ایمنی را زیر نظر بگیریم و رفتارهای ناخواسته را زودتر ببینیم. خودرمزگذارهای پراکنده وعده رهایی کامل از جعبه سیاه را نمی دهند، اما نشان می دهند که جعبه سیاه لزوما تا ابد بسته نمی ماند.
بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش
چرا بررسی تک تک نورون ها کافی نیست
نخستین مانع، چندمعنایی نورون هاست. یک نورون معمولا فقط به یک مفهوم پاسخ نمی دهد؛ ممکن است هم به نام یک شهر، هم به الگویی نحوی و هم به لحنی خاص واکنش نشان دهد. فرضیه برهم نهی این پدیده را چنین توضیح می دهد: مدل باید مفاهیمی بسیار بیشتر از تعداد نورون هایش را بازنمایی کند، پس ناگزیر است چند مفهوم را با هم پوشانی در فضای مشترکی ذخیره کند. نتیجه، کارایی بیشتر در برابر خوانایی کمتر است.
خودرمزگذار پراکنده چه می کند
خودرمزگذار پراکنده، شبکه ای دوم است که بر فعال سازی های یک لایه از مدل اصلی سوار می شود. این شبکه، فعال سازی را به مجموعه ای بسیار بزرگ تر از ویژگی ها تجزیه می کند، با این قید که در هر لحظه فقط تعداد کمی از ویژگی ها فعال باشند، و سپس می کوشد فعال سازی اولیه را از همان ویژگی های اندک بازسازی کند. اگر بازسازی دقیق باشد و ویژگی ها تک معنا باشند، هر ویژگی را می توان به یک مفهوم مشخص نسبت داد: یک مکان، یک الگوی کدنویسی، یک لحن، یا یک مفهوم انتزاعی. به این روش یادگیری فرهنگ لغت گفته می شود.
از مدلی کوچک تا کلود
آنتروپیک در مقاله ای در اکتبر ۲۰۲۳ نشان داد این روش در مدلی کوچک و تک لایه جواب می دهد. گام تعیین کننده، مقاله مه ۲۰۲۴ با عنوان مقیاس پذیری تک معنایی بود که در آن همین روش روی کلود ۳ سانت به کار رفت و میلیون ها ویژگی قابل تفسیر از لایه های میانی مدل استخراج شد. بسیاری از ویژگی ها چندزبانه و برخی چندوجهی بودند. در میان یافته ها، ویژگی هایی برای پل گلدن گیت، آسیب پذیری های امنیتی در کد، تملق، فریب و تعصب دیده شد. پژوهشگران همان جا هشدار دادند که وجود یک ویژگی مربوط به محتوای خطرناک، به معنای آن نیست که مدل آن رفتار را دارد؛ دانستن یک مفهوم با انجام دادن آن فرق دارد.
وقتی یک ویژگی را بلند می کنیم
مشهورترین آزمایش این پژوهش، تقویت ویژگی پل گلدن گیت بود. وقتی پژوهشگران فعال سازی آن ویژگی را بالا بردند، کلود در پاسخ به پرسش های نامربوط هم به پل اشاره می کرد و حتی خود را پل می دانست. این آزمایش نشان می داد ویژگی های استخراج شده صرفا برچسب های توصیفی نیستند، بلکه در رفتار مدل نقش علی دارند. همین ایده بعدها گسترش یافت؛ برای نمونه، دیپ مایند در سال ۲۰۲۴ مجموعه جما اسکوپ را منتشر کرد که خودرمزگذارهای پراکنده آموزش دیده روی مدل های جما ۲ را در اختیار پژوهشگران گذاشت.
محدودیت ها را دست کم نگیریم
با وجود این پیشرفت، تفسیرپذیری هنوز راه درازی در پیش دارد. همه ویژگی های استخراج شده تفسیرپذیر نیستند و گاهی یک مفهوم به چند ویژگی خرد می شود یا چند مفهوم در یک ویژگی باقی می مانند. بازسازی فعال سازی نیز همیشه بی نقص نیست و آموزش این شبکه های دوم برای مدل های بسیار بزرگ، هزینه محاسباتی چشمگیری دارد. مهم تر از همه، هدایت آزمایشگاهی یک ویژگی با کنترل رفتار یک محصول واقعی فرق دارد.
با این همه، اهمیت این مسیر روشن است. اگر بتوانیم ویژگی های درونی مدل را بخوانیم، می توانیم علت خطاها را بهتر ردیابی کنیم، ویژگی های حساس به ایمنی را زیر نظر بگیریم و رفتارهای ناخواسته را زودتر ببینیم. خودرمزگذارهای پراکنده وعده رهایی کامل از جعبه سیاه را نمی دهند، اما نشان می دهند که جعبه سیاه لزوما تا ابد بسته نمی ماند.
بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش