دیباگ بدون ابر: آیا مدل های کوچک می توانند جایگزین LLMهای تجاری شوند؟

پژوهش تازه ای در نشریه انجمن مهندسان برق ژاپن، سیستم EMASFL را معرفی کرده که با ترکیب چند مدل زبانی کوچک (SLM) و معماری چندعامله، بدون نیاز به API تجاری و با اجرای محلی، در مکان یابی باگ های نرم افزاری عملکردی بهتر از GPT-3.5 و GPT-4o mini ارائه داده است .

مسئله اینجاست: LLMها در مکان یابی خطا (Fault Localization) توانمندند، اما هزینه API، تاخیر و نگرانی حریم خصوصی، استفاده از آن ها را در پروژه های واقعی محدود می کند. SLMها سریع و محلی اند، اما استدلال کافی برای کاوش مستقل در مخزن کد را ندارند. EMASFL این شکاف را با تقسیم فرایند دیباگ به یک گردش کار چهارمرحله ای ساختاریافته پر می کند و هر مرحله را به ایجنت های تخصصی با مدل های کوچک مختلف می سپارد .

نکته طراحی مهم این است که استقلال کامل به ایجنت ها داده نشده؛ بلکه خط لوله از پیش تعریف شده، مسیر جستجو را محدود می کند. این محدودسازی، ضعف SLMها در انتخاب ابزار و ترتیب منطقی کاوش را جبران می کند.

در بنچمارک Defects4J، EMASFL موفق شد ۱۶۹ باگ را به درستی مکان یابی کند بیشتر از روش های مبتنی بر GPT-3.5 و GPT-4o mini. زمان اجرای میانگین ۹۳ ثانیه و هزینه API صفر بود .

برای تیم های مهندسی که با محدودیت بودجه یا الزامات حریم خصوصی مواجه اند، این یعنی دیباگ هوشمند بدون ارسال کد به سرورهای بیرونی. پیام کلیدی این پژوهش ساده است: برای برخی وظایف فنی، «بزرگ تر» همیشه «بهتر» نیست؛ طراحی درست معماری می تواند مدل های کوچک را به رقیبی جدی برای مدل های تجاری تبدیل کند.