کاهش مصرف حافظه گرافیکی در تنظیم دقیق سامانه های NL2SQL با استفاده از QLoRA
This With 8 Page And PDF Format Ready To Download
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
Abstract:
با گسترش حجم داده های ساختارنیافته و افزایش نیاز به دسترسی کاربرپسند به اطلاعات پایگاه های داده، سامانه های تبدیل زبان طبیعی به SQL (NL2SQL) جایگاه ویژه ای یافته اند. مدل های زبانی بزرگ نظیر Llama-2 دقت بالایی در این حوزه نشان داده اند، اما تنظیم دقیق آن ها به منابع سخت افزاری سنگین از جمله حافظه گرافیکی بالا نیاز دارد. این مسئله به ویژه در کشورهایی با محدودیت زیرساخت، تبدیل به مانع مهمی شده است. در این راستا، روش های تنظیم کم منبع مانند QLoRA پیشنهاد شده اند. این پژوهش با هدف ارزیابی تجربی و کمی روش QLoRA در کاهش مصرف VRAM و تاثیر آن بر دقت مدل در زمینه NL2SQL انجام می شود.
مسئله مصرف بالای VRAM در تنظیم دقیق مدل های زبانی بزرگ باعث شده بسیاری از مراکز تحقیقاتی و دانشگاه ها نتوانند از توانمندی های LLMها بهره مند شوند. روش QLoRA با ترکیب تکنیک LoRA و کمی سازی 4 بیتی، مصرف حافظه را بدون افت محسوس دقت کاهش می دهد. با توجه به نبود تحقیقات تجربی در ایران در زمینه کاربرد QLoRA در NL2SQL، این پژوهش می تواند نقشی کلیدی در توسعه سامانه های هوشمند سبک و عملیاتی در دانشگاه ها و صنعت داشته باشد.
Keywords:
Authors
محمد جعفری فوتمی
دانشجو
امید جعفرزاده خوشرودی
هیات علمی
مراجع و منابع این :
لیست زیر مراجع و منابع استفاده شده در این را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود لینک شده اند :