تولید صحنه از روی توصیف متنی با استفاده از یادگیری عمیق

مسئله ی تبدیل توصیف متنی به تصویر از جمله ی مسائلی است که امروزه بسیار مورد توجه قرار گرفته است؛ چرا که داده های تصویری نسبت به داده های متنی برای طیف گسترده تری از افراد از جمله کودکان قابل فهم است و همچنین سرعت انتقال و دریافت مفاهیم از داده های تصویری نسبت به داده های متنی بالاتر است. مدلی که بتواند تبدیل متن به تصویر را با کیفیت قابل قبول انجام دهد می تواند در کاربرد های مختلفی مورد استفاده قرار بگیرد. شبکه های عصبی عمیق با قدرت بازنمایی بالای داده ها مهم ترین ابزار برای انجام این تبدیل هستند. در مدل معرفی شده در این مرجع از شبکه های عصبی مختلفی مانند شبکه ی عصبی کانوولوشنال، بازگشتی و بازگشتی کانوولوشنال استفاده شده است. مراحل تبدیل توصیف متنی به تصویر شامل ۱) کدگذاری متن و صحنه و ۲) کدگشایی اشیا و ویژگی های آن ها می شود. در این مدل از شبکه های کانوولوشنال ResNet-۵۰و ResNeXt-۵۰ برای کدگذاری صحنه ی تولیدی استفاده شده است و نتایج حاصل از آن ها مقایسه شده است. آموزش و ارزیابی مدل بر روی مجموعه داده ی AbstractScenes انجام شده است. صحنه های تولید شده توسط مدل کیفیت مطلوبی دارند و ارزیابی کمی نتایج نیز عملکرد قابل قبولی را نشان می دهد.

Keywords:

تصاویر انتزاعی , توصیف متنی , تولید صحنه , ساخت تصویر