پاداش قابل راستی آزمایی: چگونه یادگیری تقویتی بدون مدل پاداش، استدلال را به مدل های زبانی آموخت

تا پیش از سال ۲۰۲۴، پس آموزش مدل های زبانی بزرگ تقریبا همیشه از یک مسیر می گذشت: انسان ها پاسخ های مدل را رتبه بندی می کردند، یک مدل پاداش از این ترجیح ها آموخته می شد و سپس الگوریتمی مانند PPO سیاست مدل را در جهت بیشینه کردن آن پاداش تنظیم می کرد. این زنجیره کار می کرد، اما پرهزینه، شکننده و وابسته به قضاوت انسانی بود. پرسش تازه ای که مقاله دیپ سیک مث در فوریه ۲۰۲۴ مطرح کرد، ساده و بنیادین بود: اگر درستی یک پاسخ را بتوان با یک قانون روشن بررسی کرد، چرا باید پاداش را از انسان یا از مدلی دیگر آموخت؟ از دل همین پرسش، رویکردی به نام یادگیری تقویتی با پاداش قابل راستی آزمایی، یا RLVR، زاده شد که یک سال بعد، با دیپ سیک R1، چشمگیرترین جهش استدلالی مدل های زبانی را رقم زد.

پاداش به جای سلیقه، قانون به جای مدل

در RLVR پاداش از یک قاعده مشخص می آید، نه از یک مدل آموخته شده. در مسئله ریاضی، پاسخ نهایی با جواب مرجع مقایسه می شود؛ در برنامه نویسی، کد تولیدشده در برابر مجموعه ای از آزمون ها اجرا می شود. پاداش، دودویی و شفاف است: درست یا نادرست. همین شفافیت دو پیامد مهم دارد. نخست، خطای مدل پاداش که در RLHF به تدریج سیاست را به سمت رفتارهای ظاهرا خوشایند ولی نادرست می کشاند، حذف می شود. دوم، زنجیره آموزش کوتاه تر و ارزان تر می شود، زیرا دیگر نیازی به آموزش و نگهداری یک مدل پاداش جداگانه نیست.

GRPO: یادگیری از مقایسه درون گروه

قلب فنی RLVR در نسخه دیپ سیک، الگوریتمی به نام بهینه سازی سیاست نسبی گروهی یا GRPO است. در PPO سنتی، یک مدل منتقد ارزش هر حالت را برآورد می کند تا سیاست بداند کدام اقدام بهتر بوده است. GRPO این منتقد را کنار می گذارد. برای هر پرسش، چندین پاسخ نمونه برداری می شود و پاداش هر پاسخ با میانگین پاداش گروه سنجیده می شود؛ پاسخی که از میانگین گروه بهتر است تقویت می شود و پاسخی که ضعیف تر است تضعیف می گردد. حذف مدل منتقد، حافظه موردنیاز آموزش را به طور چشمگیر کاهش می دهد و همین صرفه جویی، اجرای یادگیری تقویتی در مقیاس بزرگ را ممکن کرد.

شاهد تجربی: از صفر تا استدلال

چشمگیرترین شاهد این ایده، مدلی به نام دیپ سیک R1 زیرو بود. این مدل بدون هیچ داده نظارت شده استدلالی، تنها با یادگیری تقویتی روی مدل پایه آموزش دید. دقت آن در آزمون ریاضی AIME از حدود ۱۵ درصد به حدود ۷۱ درصد رسید و در مسیر آموزش، رفتارهایی پدیدار شد که هیچ کس مستقیم برنامه ریزی نکرده بود: خودبازبینی، بازاندیشی در میانه راه و آزمودن مسیرهای جایگزین. نسخه نهایی، دیپ سیک R1 که در ژانویه ۲۰۲۵ منتشر شد، با افزودن مقدار کمی داده آغازین و چند مرحله آموزش، به ۷۹٫۸ درصد در AIME 2024 و ۹۷٫۳ درصد در MATH-500 رسید و با ۶۷۱ میلیارد پارامتر که تنها ۳۷ میلیارد آن در هر گام فعال است، هم تراز مدل o1 اوپن ای آی ایستاد.

مرزها: پاداش درست، اما نه برای همه چیز

با همه این موفقیت ها، RLVR مرزهای روشنی دارد. این روش تنها در دامنه هایی کار می کند که درستی پاسخ را بتوان به صورت خودکار بررسی کرد؛ برای پرسش های باز، خلاقانه یا ارزشی، هنوز معیاری قانونی وجود ندارد. پاداش دودویی، سیگنالی پراکنده است: مدلی که در میانه راه درست می اندیشد ولی در گام پایانی خطا می کند، همان پاداشی را می گیرد که مدلی کاملا نادرست می گیرد. همچنین بهینه سازی برای یک معیار خشک، راه را برای هک پاداش باز می کند؛ مدلی که قالب پاسخ را بازی دهد بی آنکه واقعا درست بیندیشد. نسخه های تازه تر مانند Dr. GRPO و DAPO می کوشند همین سوگیری ها، از جمله سوگیری طول پاسخ و نرمال سازی نادرست مزیت، را اصلاح کنند.

جمع بندی

اهمیت RLVR نه فقط در عددهای بنچمارک، بلکه در درسی است که به پژوهش پس آموزش داد: سیگنال درست، حتی اگر ساده باشد، می تواند توانایی هایی را پدید آورد که پیش تر نیازمند هزاران نمونه برچسب خورده انسانی پنداشته می شد. پرسش پیش رو اکنون این است که آیا می توان پاداش قابل راستی آزمایی را از ریاضی و کد به دامنه های بازتر گسترش داد، یا آینده در ترکیبی از قانون دقیق و قضاوت انسانی خواهد بود. پاسخ به این پرسش، مسیر بعدی آموزش مدل های استدلال گر را تعیین می کند.

بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش