مروری بر محاسبات موازی بر روی مجموعه داده های بزرگ مبتنی بر تکنیک MapReduce و Hadoop
Publish place: Fifth International Conference on Electrical and Computer Engineering with Emphasis on Indigenous Knowledge
Publish Year: 1396
نوع سند: مقاله کنفرانسی
زبان: Persian
View: 736
This Paper With 11 Page And PDF Format Ready To Download
- Certificate
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
COMCONF05_500
تاریخ نمایه سازی: 21 اردیبهشت 1397
Abstract:
MapReduce یک تکنیک پردازش موازی در سیستمهای محاسباتی توزیع شده است. این تکنیک، دادهها را به قسمتهای کوچکتر تقسیم میکند و هر فرآیند نیز به دستورات کوچکتر شکسته میشود و گره های مختلف در سیستم های توزیع شده، بخشی از عملیات را بر مبنای این قسمتها مدیریت میکنند. در بخش اولیه این تکنیک از تقسیم داده ها برای خواندن اطلاعات ورودی و گرههای میانی استفاده میشود. سپس این دادهها برچسپ گذاری شده و در میان گرههای محاسباتی براساس استفاده از توابع درهم ساز توزیع شده و نتایج خود را به گره مرکزی انتقال میدهند. در بخش ثانویه این تکنیک نتیجه ی اصلی بر مبنای فرمت درست خروجی تولید میشود. تکنیک Hadoop نیز مدل برنامه نویسی ساده ای را مهیا میکند که کارآمدی مناسبی برای محاسبات دادههای بزرگ دارد. در این مطالعه موردی سه الگوریتم در حوزه MapReduce و چهار الگوریتم در حوزه Hadoop مورد بررسی و مقایسه قرار میگیرند. نتایج حاصل از این مطالعه نشان میدهد در هر دو مورد تکنیک مبتنی بر MapReduce توانسته تا حد امکان زمان و سرعت پردازش دادههایی با ابعاد بالا را بهبود بخشد.
Keywords:
Authors
شبنم پاک پرور
دانشجوی کارشناسی ارشد موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا
فاطمه امین صفایی اردکانی
دانشجوی کارشناسی ارشد موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا
فرناز حسینی
عضو هیات علمی موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا