ساخت توصیف به زبان فارسی برای تصاویر مجموعه داده Flickr8k

ساخت توصیف تصویر بصورت خودکار، یکزمینه پژوهشی کلیدی در جامعه ی یادگیری ماشین است.با این حال بسیاری از پژوهش های اخیر روی ساخت توصیفانگلیسی انجام شده و زبان های دیگر مثل زبان فارسی،کمتر مورد توجه قرار گرفته است. در این مقاله، یک شبکهعصبی بازگشتی مالتی مودال (MRNN) برگرفته از [3]Karpathy and Fei-Fei, 2015 روی مجموعه داده Flickr8k باتوصیفات فارسی، آموزش داده شده است. مدل آموزش داده شده ی حاصل، با معیارهای CIDEr, BLEU score و Perplexity مورد ارزیابی قرار گرفته و با مدل انگلیسی ارایه شده در [ 3] و همچنین با ترجمه مدل [3] به فارسی، مقایسه شده است. مدل آموزش داده شده، بسیارنزدیک به مدل آموزش دیده توسط [3] روی توصیفاتانگلیسی است و همچنین از حالت ترجمه ای نیز بهتر عملمی کند. لذا میتوان نتیجه گرفت که مدل RNN بصورت عمومی خوب عمل می کند و یا حداقل برای سیستم هایتوصیف تصویر برای زبان های مختلف بطور مشابه کار می کند.

Keywords:

بینایی ماشین , ساخت توصیف , شبکه های RNN , زبان فارسی , یادگیری عمیق