کوچک ولی توانا: مدل های زبانی کوچک چگونه معادله اندازه و هوش را بر هم زدند

---

 

سال ها تصور غالب در دنیای هوش مصنوعی مولد ساده بود: هر چه مدل بزرگ تر باشد، هوشمندتر است. قوانین مقیاس نشان می دادند که افزایش اندازه مدل و حجم داده، عملکرد را بهتر می کند. همین منطق، مسابقه ساخت مدل های صدها میلیارد پارامتری را به راه انداخت. اما در سال های اخیر، خانواده تازه ای از مدل ها این معادله را به چالش کشیده است: مدل های زبانی کوچک که با چند میلیارد پارامتر، و گاهی کمتر، کارهایی انجام می دهند که پیش تر تنها از عهده غول های چند ده میلیارد پارامتری برمی آمد.

نقطه عطف این تغییر، توجه دوباره به کیفیت داده بود. پژوهشگران مایکروسافت در مقاله ای با عنوان کتاب های درسی همه آن چیزی است که نیاز دارید نشان دادند که داده آموزشی گزینش شده و آموزشی می تواند جای حجم عظیم داده خام را بگیرد. ثمره این رویکرد، مدل فای ۲ بود که در دسامبر ۲۰۲۳ با تنها دو ممیز هفت میلیارد پارامتر معرفی شد. فای ۲ روی یک ممیز چهار تریلیون توکن از داده های مصنوعی و وب به دقت پالایش شده آموزش دید و بنا بر اعلام مایکروسافت، در برخی بنچمارک های پیچیده با مدل هایی تا بیست و پنج برابر بزرگ تر از خود رقابت کرد. پیام این نتیجه روشن بود: هوشمندی مدل فقط تابع اندازه نیست، بلکه تابع چیزی است که مدل می خواند و چگونه می خواند.

گوگل نیز در فوریه ۲۰۲۴ با خانواده جما همین مسیر را ادامه داد. جما در دو اندازه دو میلیارد و هفت میلیارد پارامتری عرضه شد و بر پایه همان فناوری مدل های جمینای ساخته شد. نکته مهم جما این بود که از ابتدا برای اجرا روی لپ تاپ و ایستگاه کاری توسعه دهنده طراحی شده بود، نه فقط برای مراکز داده عظیم. به این ترتیب، توسعه دهنده ای در هر نقطه جهان، بدون اتکا به زیرساخت ابری گران قیمت، می توانست با آن کار کند.

اهمیت مدل های کوچک در سه ویژگی خلاصه می شود. نخست، اجرای محلی است: وقتی مدل روی گوشی یا لپ تاپ اجرا می شود، داده کاربر به سروری دوردست فرستاده نمی شود و این برای حریم خصوصی و کار آفلاین امتیاز بزرگی است. دوم، هزینه و مصرف انرژی است: آموزش و استنتاج مدل کوچک به مراتب ارزان تر است و ردپای کربنی کمتری دارد. سوم، تخصصی سازی است: تنظیم دقیق یک مدل چند میلیارد پارامتری برای یک کار مشخص، مانند پشتیبانی مشتریان یک شرکت یا خلاصه سازی اسناد حقوقی، با منابع محدود هم ممکن است، در حالی که تنظیم دقیق مدل های غول پیکر برای بیشتر سازمان ها دور از دسترس است.

البته مدل های کوچک جایگزین همه کاره مدل های بزرگ نیستند. دانش عمومی آن ها محدودتر است، در استدلال چندمرحله ای پیچیده و حل مسئله های باز، هنوز عقب ترند و پنجره حافظه کوتاه تری دارند. راه حل رایج این است که مدل کوچک با ابزارهای بیرونی ترکیب شود: اتصال به پایگاه دانش به روز، فراخوانی ابزار محاسباتی یا واگذاری پرسش های دشوار به مدل بزرگ تر. در این معماری، مدل کوچک کارهای روزمره را سریع و ارزان انجام می دهد و مدل بزرگ فقط هنگام ضرورت وارد می شود.

جمع بندی این است که آینده هوش مصنوعی مولد، نه انتخاب میان بزرگ و کوچک، بلکه تقسیم کار میان آن هاست. مدل های بزرگ مرز دانش و استدلال را جلو می برند و مدل های کوچک هوش مصنوعی را به دست همه می رسانند: روی دستگاه شخصی، در سازمان های کوچک و در کاربردهایی که حریم خصوصی در آن ها خط قرمز است. معیار موفقیت از این پس فقط بزرگی نیست؛ کارایی، دسترسی و نسبت هوش به هزینه نیز هست. گاهی مدلی کوچک با داده خوب، ارزشمندتر از غولی است که همان کار را با صد برابر هزینه انجام می دهد.

بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش