مدل های زبانی دیفیوژنی: پایان انحصار «کلمه به کلمه» در تولید متن؟

مقدمه

تقریبا تمام مدل های زبانی بزرگی که امروز می شناسیم، از مدل های تجاری تا مدل های متن باز، متن را به یک شیوه تولید می کنند: خودرگرسیو (Autoregressive)؛ یعنی یک توکن در هر گام، از چپ به راست، به طوری که ه

ر کلمه مشروط بر همه کلمات قبلی انتخاب می شود. این پارادایم ستون فقرات انقلاب هوش مصنوعی مولد بوده است، اما محدودیت های ساختاری هم دارد: استنتاج ذاتا ترتیبی و کند است، مدل پس از تولید یک کلمه عملا نمی تواند به عقب برگردد و آن را اصلاح کند، و خطاهای اولیه در سراسر دنباله پخش می شوند. پرسش طبیعی این است: آیا ماشین راه دیگری هم برای «نوشتن» بلد است؟

بدنه اصلی

پاسخ مثبت است و ایده آن از دنیای تولید تصویر می آید. مدل های دیفیوژنی تصویر از نویز شروع می کنند و طی چند گام پیاپی آن را به تصویری منسجم تبدیل می کنند. «مدل های زبانی دیفیوژنی» (Diffusion Language Models) همین منطق را روی متن پیاده می کنند: مدل با دنباله ای کامل از توکن های ماسک شده (پنهان) آغاز می کند و در هر گام کل دنباله را یکجا پیش بینی می کند؛ سپس توکن هایی که مدل نسبت به آن ها اطمینان کمتری دارد دوباره ماسک می شوند تا در گام های بعد اصلاح شوند. در پایان این فرایند تکراری «نویززدایی»، متنی منسجم شکل می گیرد. چند نکته کلیدی درباره این رویکرد:

۱. سرعت و موازی سازی: چون مدل در هر گام روی کل جمله کار می کند، برخلاف روش خودرگرسیو ناچار نیست منتظر تولید تک تک کلمات بماند. این ویژگی مسیر بالقوه ای به سوی استنتاج سریع تر و موازی باز می کند؛ مزیتی که در کاربردهای بلادرنگ مانند دستیارهای کدنویسی اهمیت زیادی دارد.

۲. ویرایش طبیعی متن: این مدل ها ذاتا در پر کردن جاهای خالی در میانه متن و بازنویسی درجا مهارت دارند؛ کاری که برای مدل های چپ به راست ذاتا دشوار است، چون آن ها فقط می توانند به انتهای متن چیزی اضافه کنند.

۳. جهش های اخیر: تا مدت ها مدل های دیفیوژنی زبانی صرفا کنجکاوی های پژوهشی بودند که از نظر کیفیت به مدل های خودرگرسیو نمی رسیدند. اما مدل LLaDA در سال ۲۰۲۵ با ۸ میلیارد پارامتر نشان داد که یک مدل کاملا دیفیوژنی می تواند در سطح مدل های خودرگرسیو هم اندازه خود رقابت کند. در دسامبر ۲۰۲۵ پژوهشگران با معرفی LLaDA2.0 این پارادایم را تا مقیاس ۱۰۰ میلیارد پارامتر بالا بردند؛ با روشی سه مرحله ای که دانش یک مدل خودرگرسیو ازپیش آموزش دیده را به مدل دیفیوژنی منتقل می کند، بدون نیاز به آموزش پرهزینه از صفر. هر دو نسخه سبک و سنگین این مدل متن باز منتشر شدند و گزارش ها از سرعت حدود ۵۳۵ توکن بر ثانیه در وظایف کدنویسی و ریاضیات و عملکرد بهتر در وظایف ساخت یافته حکایت دارند.

۴. چالش های باز: با وجود این پیشرفت ها، کیفیت در وظایف عمومی و زبانی باز هنوز میدان رقابت جدی است. پدیده «سوگیری مواجهه» یعنی انباشت خطا هنگام رمزگشایی موازی و هزینه محاسباتی گام های تکراری نویززدایی از مسائل باز این حوزه اند. پژوهش های تازه تری مانند LLaDA2.1 با سازوکار «پیش نویس و ویرایش» می کوشند با اجازه دادن به مدل برای اصلاح توکن های تولیدشده در گام های قبلی، این شکاف را کاهش دهند.

جمع بندی

مدل های زبانی دیفیوژنی از حاشیه پژوهش به رقیبی جدی برای پارادایم غالب تبدیل شده اند. شاید آینده متعلق به یکی از این دو نباشد، بلکه به ترکیب هوشمندانه هر دو: سرعت و انعطاف دیفیوژن در کنار دقت و بلوغ خودرگرسیو. آنچه مسلم است، «نوشتن کلمه به کلمه» دیگر تنها راه نوشتن ماشین نیست؛ و این تنوع پارادایمی، خبر خوبی برای کل اکوسیستم هوش مصنوعی مولد است.