ترکیب متخصصان: وقتی مدل عظیم با هزینه ای ثابت فکر می کند

در مدل های زبانی معمولی، که به آن ها مدل های چگال می گویند، همه پارامترها برای هر ورودی به کار می افتند. هرچه مدل بزرگ تر شود، پردازش هر توکن هم گران تر می شود. این بده بستان ساده سال ها مسیر مقیاس بندی را تعیین کرده بود: هوش بیشتر، هزینه بیشتر. معماری ترکیب متخصصان، که با نام MoE شناخته می شود، این بده بستان را به هم می زند. ایده آن روشن است: به جای یک شبکه عظیم واحد، تعداد زیادی شبکه کوچک تر به نام متخصص داشته باشیم و یک مسیریاب کوچک تصمیم بگیرد که هر توکن فقط به کدام چند متخصص برود. به این ترتیب، شمار کل پارامترها می تواند بسیار بزرگ شود، در حالی که محاسبات انجام شده برای هر توکن تقریبا ثابت می ماند.

متخصصان چه می کنند؟

در یک بلوک ترنسفورمر، پرهزینه ترین بخش شبکه پیش خور است. در معماری MoE این بخش با چند متخصص جایگزین می شود. مسیریاب برای هر توکن به همه متخصصان امتیاز می دهد و فقط متخصصان برتر را فعال می کند. بقیه متخصصان در آن گام خاموش می مانند و هیچ محاسبه ای انجام نمی دهند.

از مقاله شازیر تا ترنسفورمر سوییچ

ریشه این ایده به مقاله سال ۲۰۱۷ نوام شازیر و همکارانش برمی گردد؛ لایه متخصصان با دروازه بندی تنک که میان لایه های بازگشتی قرار گرفت و تا ۱۳۷ میلیارد پارامتر را در بر می گرفت. گام بعدی در گوگل برداشته شد: معماری GShard مدلی ۶۰۰ میلیارد پارامتری با ۲۰۴۸ متخصص را برای ترجمه چندزبانه آموزش داد، با هزینه ای نزدیک به مدلی بسیار کوچک تر. سپس ترنسفورمر سوییچ در ژانویه ۲۰۲۱ مسیریابی را ساده تر کرد: هر توکن فقط به یک متخصص می رود. پژوهشگران با همین سادگی توانستند مدل هایی تا مقیاس تریلیون پارامتر را به صورت پایدار آموزش دهند و تا هفت برابر سرعت بیشتر در پیش آموزش نسبت به مدل پایه تی فایو با همان منابع محاسباتی گزارش کنند. در دسامبر ۲۰۲۳ نیز میکسترال ۸ در ۷ میلیارد، به عنوان وزنه های باز، این معماری را از آزمایشگاه به جریان اصلی مدل های زبانی آورد.

چالش پنهان: فروپاشی مسیریاب

ترکیب متخصصان بدون چالش نیست. اگر مسیریاب در آغاز آموزش به چند متخصص علاقه نشان دهد، همان ها بیشتر آموزش می بینند و بهتر می شوند و مسیریاب باز هم همان ها را انتخاب می کند. این چرخه به فروپاشی مسیریاب می انجامد: بیشتر متخصصان عملا استفاده نشده می مانند و ظرفیت مدل هدر می رود. راه حل رایج، افزودن یک تابع زیان کمکی برای متوازن سازی بار است؛ یعنی مسیریاب جریمه می شود اگر بار را ناعادلانه تقسیم کند. این نکته نشان می دهد که در MoE، مسئله فقط ساختن متخصصان بیشتر نیست، بلکه مدیریت عدالت در تقسیم کار است. چالش دیگر، هزینه ارتباطی است: وقتی متخصصان روی چند دستگاه پخش می شوند، رساندن توکن به متخصص درست، خودش سربار ارتباطی دارد و طراحی سخت افزار و نرم افزار باید با هم دیده شود.

تخصص واقعی با دیپ سیک ام اوای

پژوهش دیپ سیک ام اوای در ژانویه ۲۰۲۴ دو ضعف معماری های متعارف را نشانه گرفت: آمیختگی دانش و افزونگی دانش. وقتی شمار متخصصان کم است، هر متخصص ناچار است دانش های گوناگونی را در خود جای دهد و تخصص واقعی شکل نمی گیرد؛ و وقتی چند متخصص به دانش مشترکی نیاز دارند، همان دانش در چند جا تکرار می شود. راه حل پیشنهادی دوگانه بود: متخصصان را ریزدانه تر کنیم تا ترکیب های انعطاف پذیرتری از آن ها فعال شود، و چند متخصص مشترک را جدا کنیم تا دانش عمومی را بر عهده بگیرند و متخصصان مسیریابی شده از تکرار آن بی نیاز شوند. مدل ۱۶ میلیارد پارامتری دیپ سیک ام اوای با تنها حدود ۴۰ درصد محاسبات، عملکردی در حد مدل ۷ میلیارد پارامتری لامای ۲ نشان داد.

جمع بندی

ترکیب متخصصان به ما می آموزد که بزرگ شدن مدل لزوما به معنای گران شدن هر پاسخ نیست. هنر این معماری در تقسیم کار است: مسیریابی هوشمند، متوازن سازی بار و طراحی متخصصانی که واقعا متخصص باشند. مسیر آینده نیز در همین راستاست: متخصصان ریزدانه تر، مسیریابی کارآمدتر روی سخت افزارهای واقعی و ترکیب این معماری با فشرده سازی و روش های استنتاج سریع.

بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش