قانون اساسی برای هوش مصنوعی: وقتی مدل خودش داور رفتار خویش می شود

چگونه می توان به یک مدل زبانی آموخت که بی ضرر باشد، بی آنکه برای هر پاسخ خطرناک به برچسب انسانی نیاز باشد؟ این پرسش، نقطه آغاز یکی از اثرگذارترین ایده های هم ترازی مدل های مولد است؛ ایده ای که پژوهشگران آنتروپیک در دسامبر ۲۰۲۲ با نام «هوش مصنوعی قانون اساسی» معرفی کردند.

در روش مرسوم هم ترازی با بازخورد انسانی، انسان ها هزاران پاسخ مدل را می خوانند و مشخص می کنند کدام پاسخ بهتر است. این روش موثر است اما پرهزینه، کند و وابسته به قضاوت های ناسازگار انسانی است. بای و همکارانش پیشنهاد کردند به جای برچسب زنی موردی، مجموعه ای از اصول روشن و نوشته شده به زبان طبیعی در اختیار مدل گذاشته شود؛ چیزی شبیه قانون اساسی که رفتار مدل را هدایت کند. تنها ورودی انسانی در کل فرایند، همین فهرست اصول است؛ بقیه کار را خود مدل انجام می دهد.

فرایند در دو مرحله انجام می شود. در مرحله نخست، مدل به پرسش هایی پاسخ می دهد که عمدا برای بیرون کشیدن رفتار آسیب زا طراحی شده اند. سپس همان مدل، با تکیه بر یکی از اصول قانون اساسی که به صورت تصادفی انتخاب شده، پاسخ خود را نقد می کند و مشخص می کند کجای پاسخ آسیب زا، غیراخلاقی یا خطرناک است. بعد از نقد، پاسخ را بازنویسی می کند تا با آن اصل سازگار شود. این چرخه نقد و بازنویسی چند بار تکرار می شود و در پایان، مدل روی پاسخ های بازنویسی شده آموزش می بیند. نتیجه مدلی است که بی ضرری را نه از مثال های برچسب خورده انسانی، بلکه از استدلال درباره اصول آموخته است.

در مرحله دوم، بازخورد انسانی به طور کامل با بازخورد هوش مصنوعی جایگزین می شود. مدل بازخورددهنده، دو پاسخ را بر اساس اصول قانون اساسی با یکدیگر مقایسه می کند و پاسخ بهتر را انتخاب می کند. از این ترجیح های ساخته شده با هوش مصنوعی، یک مدل پاداش آموزش داده می شود و سپس سیاست مدل با یادگیری تقویتی در برابر آن پاداش بهینه می شود. به این روش «یادگیری تقویتی از بازخورد هوش مصنوعی» گفته می شود. نکته مهم این است که در این مرحله هیچ برچسب انسانی برای آسیب زا بودن به کار نمی رود.

نتایج مقاله نشان داد مدلی که با این روش آموزش دیده، از دید ارزیابان انسانی بر مدل هایی که با برچسب های انسانی گردآوری شده پیشین آموزش دیده بودند ترجیح داده شد و در عین حال از طفره روی پرهیز می کند؛ یعنی به جای سکوت یا امتناع خشک، با پرسش آسیب زا درگیر می شود و دلیل مخالفت خود را توضیح می دهد. این رفتار، تفاوت مهمی با مدل هایی است که صرفا یاد می گیرند از موضوعات حساس بگریزند.

ایده قانون اساسی سه پیام مهم دارد. نخست اینکه هم ترازی می تواند به جای تکیه بر هزاران قضاوت موردی، بر اصول قابل بحث و بازبینی استوار شود؛ اصولی که می توان آن ها را خواند، نقد کرد و تغییر داد. دوم اینکه خود مدل می تواند منتقد خویش باشد؛ نقد و بازنویسی، سازوکاری برای خودبهبودی است که به آموزش اضافی یا مدل کمکی نیاز ندارد. سوم اینکه شفافیت اصول، امکان نظارت بیرونی را فراهم می کند؛ وقتی قاعده نوشته شده باشد، می توان پرسید آیا مدل واقعا به آن پایبند است یا نه.

البته این روش محدودیت های خود را دارد. اگر اصول قانون اساسی ناقص یا جانبدارانه نوشته شوند، مدل همان نقص ها را درونی می کند. همچنین نقد خود، به توانایی استدلالی خود مدل وابسته است؛ مدلی که در تشخیص آسیب ناتوان باشد، نمی تواند منتقد خوبی برای خویش باشد. با این همه، هوش مصنوعی قانون اساسی نشان داد مسیر هم ترازی لزوما از برچسب انسانی نمی گذرد؛ گاهی یک متن روشن از اصول، جای هزاران مثال را می گیرد. همین ایده بعدها در آموزش مدل های کلاد آنتروپیک به کار رفت و به یکی از ستون های هم ترازی در مقیاس صنعتی تبدیل شد.

بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش