بهینه سازی مدل های زبانی بزرگ در محیط های لبه: چالش ها، روش ها و کاربردها

مدل های زبانی بزرگ (LMS) مانند BERT، GPT و T۵ تحولی اساسی در حوزه پردازش زبان طبیعی ایجاد کرده اند و کاربردهای گسترده ای در حوزه های مختلف پیدا کرده اند. با این حال استقرار این مدل ها در محیط های لبه با چالش های مهمی نظیر محدودیت منابع پردازشی، ظرفیت حافظه، مصرف انرژی و مسائل مرتبط با حریم خصوصی مواجه است. این پژوهش مروری جامع بر تکنیک های بهینه سازی مدل های زبانی به منظور استقرار موثر و ایمن آن ها در دستگاه های لبه ارائه می دهد. روش هایی همچون هرس کردن (Pruning)، کوانتیزاسیون، استخراج دانش (Knowledge Distillation)، یادگیری فدرال و رویکردهای ترکیبی بررسی شده اند، همچنین یک چارچوب طبقه بندی به منظور دسته بندی این روش ها براساس سازوکار فنی و میزان سازگاری با معماری های لبه پیشنهاد گردیده است. مزایا و محدودیت های هر روش به تفکیک تحلیل شده و یافته های پژوهش های اخیر برای پشتیبانی از آن ها ارائه شده است. علاوه بر این کاربردهای عملی مدل های زبانی در حوزه هایی چون اینترنت اشیا، سلامت دیجیتال، خودروهای خودران و رباتیک مورد بحث قرار گرفته و مطالعات موردی مرتبط بررسی شده اند. چالش های بنیادین نظیر تاخیر، مصرف انرژی و امنیت مدل ها نیز تشریح شده اند. در پایان، جهت گیری های آتی پژوهش در راستای توسعه مدل های زبانی سبک، امن و سازگار با محیط های لبه پیشنهاد شده است.

Keywords:

مدل های زبانی بزرگ , رایانش لبه , بهینه سازی مدل , فشرده سازی , یادگیری فدرال , اینترنت اشیا , سلامت دیجیتال