ارائه روشی جهت بهینه سازی عملکرد هدوپ با استفاده از الگوریتم ژنتیک
Publish Year: 1398
نوع سند: مقاله کنفرانسی
زبان: Persian
View: 398
This Paper With 12 Page And PDF and WORD Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
این Paper در بخشهای موضوعی زیر دسته بندی شده است:
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
NERA04_353
تاریخ نمایه سازی: 5 بهمن 1398
Abstract:
بسیاری از سازمانها به طور مداوم جمع آوری مقادیر زیادی از مجموعه داده ها را از منابع مختلف از جمله شبکه جهانی وب، شبکه های حسگر و شبکه های اجتماعی جمع آوری می کنند. توانایی انجام تجزیه و تحلیل مقیاس پذیر و به موقع در این مجموعه داده های بدون ساختار، اولویت بسیار زیادی برای بسیاری از شرکت ها است. برای سیستم های پایگاه داده سنتی، این مجموعه داده ها را به صورت روزافزونی پردازش می کند. هدوپ به یک تکنیک محاسباتی عمده برای حمایت از تجزیه و تحلیل داده های بزرگ تبدیل شده است. یک هدوپ، چارچوب نرم افزاری متن باز است که با استفاده ازسیستم فایل توزیع شده پردازش موازی داده ها را روی تعداد زیادی گره موجود دریک خوشه جهت سرعت بخشیدن به محاسبات بزرگ و داده های کلان و نیز پنهان سازی تاخیر ورودی با افزایش تعداد ورودی همزمان انجام می دهد. سیستم فایل توزیع شده هدوپ، بصورت ارزان و قابل اعتمادی برای تکرار تکه های داده دریک خوشه بکارگرفته می شود و داده ها بصورت محلی روی ماشینی که عمل پردازش را انجام می دهد قابل دسترسی می باشند. به دلیل اینکه در بحث مربوط به کلان داده نیاز به رویکردهای قدرتمند پردازشی است تا در کسری از ثانیه اطلاعات انبوهی پردازش شوند، رویکردهای مختلفی مانند هدوپ شناخته شده که نیاز است تا بهینه شوند. با توجه به اینکه در پژوهش های گذشته تنها پارامترهای محدودی در این زمینه در نظر گرفته شده است. در این پژوهش به بررسی و آنالیز پارامترهای متعددی که زمان پیاده سازی را کاهش داده و عملکرد هدوپ را بهبود می بخشد پرداخته می شود. همچنین روش پیشنهادی با دیگر روش ها مقایسه شده و نتایج آن از لحاظ کارائی بررسی می شود.
Keywords:
Authors
مرتضی غضنفری
دانشگاه آزاد اسلامی واحد سما تنکابن
اسماعیل ملک زاده سرایی
دانشکده فنی محمودآباد
پویان صالحی
دانشکده فنی و حرفه ای محمودآباد