مروری بر مفهوم کلان داده

کلان داده ها به هر مجموعه ی بسیار وسیع و پیچیده ای اطلاق می شود که پردازش آن با استفاده از برنامه های پردازش داده ی سنتی مشکل است. کار باکلان داده ها با استفاده از سامانه های مدیریت پایگاه داده های منطقی و آمار کتابخانه ای سخت است و در مقابل نیازمند نرم افزارهای موازی بسیاری است که روی ده ها، صدها یا حتی هزاران سرور اجرا می شوند. کلان داده ها معمولاً شامل مجموعه داده هایی هستند که دارای اندازه ای می باشند که معمولاً فراتر از توانایی معمول ابزار نرم افزاری برای گرفتن، انتخاب، مدیریت و پردازش داده ها در یک زمان معین می باشند. اندازه ای داده های عظیم یک موضوع متغیر است که از چند ده ترابایت تا چندین پتابایت داده متغیر است. کلان داده ها مجموعه ای از تکنیک ها و فناوری هایی است که نیازمند فرم های جدید اختلاط برای آشکار کردن مقادیر پنهان وسیع از روی مجموعه داده هایی است که متنوع، پیچیده و بزرگ مقیاس می باشند. محیط داده های وسیع برای کسب، سازمان دهی و تجزیه وتحلیل انواع مختلف داده ها مورداستفاده قرار می گیرد. یک مشاهده در مورد چارچوب نگاشت کاهش وجود دارد که این چارچوب میزان وسیع داده های متوسط را تولید می کند. در این مقاله مروری بر مفهوم کلان داده و مهم ترین مسائل پیرامون آن خواهیم داشت.

Keywords:

کلان داده ها , هادوپ , HDFS , پیگ , هایو