ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ
Publish place: Electronic and cyber defense، Vol: 8، Issue: 2
Publish Year: 1399
نوع سند: مقاله ژورنالی
زبان: Persian
View: 285
This Paper With 9 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
JR_PADSA-8-2_005
تاریخ نمایه سازی: 7 اردیبهشت 1400
Abstract:
امروزه پروژه متنباز هادوپ بههمراه چهارچوب نگاشت-کاهش در بین موسسات، سازمانها و محققین محبوبیت زیادی دارد که برای پردازش حجم انبوهی از دادهها بهصورت موازی بر روی خوشهای از کامپیوترها بسیار مناسب است. نگاشت-کاهش برای حل مشکلات محاسبات دادههای حجیم معرفی شده است که از قاعده تقسیم-غلبه پیروی میکند. مانند هر جای دیگر، مبحث زمان و زمانبندی در نگاشت-کاهش از اهمیت بسیار بالایی برخوردار است. بههمین دلیل در دهه اخیر الگوریتمهای زمانبندی متعددی در این زمینه تدارک یافته است. ایده اصلی این الگوریتمها افزایش نرخ محلیسازی داده، همزمانسازی، کاهش زمان پاسخ و زمان اتمام وظایف میباشد. اکثر این الگوریتمها تک هدفه میباشند و فقط یکی از موارد ذکر شده را مورد هدف قرار میدهند. الگوریتمهای چند هدفه موجود فقط بر روی یکی از فازهای اول یا دوم نگاشت-کاهش تمرکز دارند. در این مقاله، یک الگوریتم زمانبندی ترکیبی مبتنی بر اولویتبندی پویا کارها و محلیسازی داده در محیط نگاشت-کاهش به نام "HSMRPL" ارائه میشود که هدف اصلی آن افزایش نرخ محلیسازی داده و کاهش زمان محاسبات میباشد. در این الگوریتم از دو روش اولویتبندی پویا و شناسه محلیسازی استفاده میشود. برای ارزیابی الگوریتم پیشنهادی، آن را با الگوریتمهای پیشفرض هادوپ و به کمک محکهای استاندارد مقایسه کردیم. نتایج حاصله نشان میدهد که الگوریتم پیشنهادی ما نرخ محلیسازی را نسبت به الگوریتم FIFO، ۵/۱۸ درصد و نسبت به الگوریتم Fair، ۴/۱۰ درصد افزایش داده است. همچنین، الگوریتم پیشنهادی ما نسبت به الگوریتم FIFO، ۸/۳ درصد و نسبت به Fair، ۴/۱۳ درصد سریعتر است.
Keywords:
Authors
سید رضا پاکیزه
مربی گروه کامپیوتر، دانشگاه علمی– کاربردی، دهدشت، ایران
سیدمجید عارفی نژاد
دانشجوی کارشناسیارشد، دانشگاه افسری و تربیت پاسداری امام حسین(ع)
مراجع و منابع این Paper:
لیست زیر مراجع و منابع استفاده شده در این Paper را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود Paper لینک شده اند :