CIVILICA We Respect the Science
(ناشر تخصصی کنفرانسهای کشور / شماره مجوز انتشارات از وزارت فرهنگ و ارشاد اسلامی: ۸۹۷۱)

ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ

عنوان مقاله: ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ
شناسه ملی مقاله: JR_PADSA-8-2_005
منتشر شده در در سال 1399
مشخصات نویسندگان مقاله:

سید رضا پاکیزه - مربی گروه کامپیوتر، دانشگاه علمی– کاربردی، دهدشت، ایران
سیدمجید عارفی نژاد - دانشجوی کارشناسیارشد، دانشگاه افسری و تربیت پاسداری امام حسین(ع)

خلاصه مقاله:
امروزه پروژه متنباز هادوپ بههمراه چهارچوب نگاشت-کاهش در بین موسسات، سازمانها و محققین محبوبیت زیادی دارد که برای پردازش حجم انبوهی از دادهها بهصورت موازی بر روی خوشهای از کامپیوترها بسیار مناسب است. نگاشت-کاهش برای حل مشکلات محاسبات دادههای حجیم معرفی شده است که از قاعده تقسیم-غلبه پیروی میکند. مانند هر جای دیگر، مبحث زمان و زمانبندی در نگاشت-کاهش از اهمیت بسیار بالایی برخوردار است. بههمین دلیل در دهه اخیر الگوریتمهای زمانبندی متعددی در این زمینه تدارک یافته است. ایده اصلی این الگوریتمها افزایش نرخ محلیسازی داده، هم­زمانسازی، کاهش زمان پاسخ و زمان اتمام وظایف میباشد. اکثر این الگوریتمها تک هدفه میباشند و فقط یکی از موارد ذکر شده را مورد هدف قرار میدهند. الگوریتم­های چند هدفه موجود فقط بر روی یکی از فازهای اول یا دوم نگاشت-کاهش تمرکز دارند. در این مقاله، یک الگوریتم زمان­بندی ترکیبی مبتنی بر اولویتبندی پویا کارها و محلیسازی داده در محیط نگاشت-کاهش به نام "HSMRPL" ارائه میشود که هدف اصلی آن افزایش نرخ محلیسازی داده و کاهش زمان محاسبات میباشد. در این الگوریتم از دو روش اولویتبندی پویا و شناسه محلیسازی استفاده میشود. برای ارزیابی الگوریتم پیشنهادی، آن را با الگوریتمهای پیشفرض هادوپ و به کمک محکهای استاندارد مقایسه کردیم. نتایج حاصله نشان میدهد که الگوریتم پیشنهادی ما نرخ محلیسازی را نسبت به الگوریتم FIFO، ۵/۱۸ درصد و نسبت به الگوریتم Fair، ۴/۱۰ درصد افزایش داده است. همچنین، الگوریتم پیشنهادی ما نسبت به الگوریتم FIFO، ۸/۳ درصد و نسبت به Fair، ۴/۱۳ درصد سریعتر است.

کلمات کلیدی:
زمانبندی نگاشت-کاهش, الگوریتم ترکیبی, محلیسازی داده, اولویتبندی پویا, زمانبندی هادوپ

صفحه اختصاصی مقاله و دریافت فایل کامل: https://civilica.com/doc/1187618/