داده کاوی اطلاعات بانکی بااستفاده از روش های مدیریت داده های بزرگ در چهارچوب هادوپ

با توجه به افزایش روزافزون حجم اطلاعات وگذر از اقتصاد سنتی و از میان رفتن مرزهای جغرافیایی برای کسب و کار و به تبع آن شدت یافتن رقابت باعث شده است در فضای مجازی به خصوص در حوزه بانکداری و تجارت الکترونیکی، امروزه یکیاز چالش های مهم داده کاوی که مورد توجه اکثر سازمان ها می باشد پردازش روی مجموعه داده های بسیار بزرگ یا کلان داده است که توجه بسیاری از محققان و متخصصین در حوزه فناوری اطلاعات را به خود معطوف کرده است. برای پیاده سازی و ا نجام این کار مدل ها و روش های گوناگونی طراحی و ارایه شده است . هادوپ Hadoop یکی از محصولات کد باز است که برای ذخیره سازی و پردازش حجم اطلاعات بسیار بالا طراحی شده است .هدوپ، امکان ذخیره سازی و پردازش اطلاعات در چندین سرور با هزینه ای پایین فراهم می آورد همچنین به دلیل داشتن انعطاف پذیری در پذیرش مقیاس بالای داده توسط دو ویژگی مهم یعنی معماری موازی architecture Parallel و روش نگاشت کاهش Reduce - Map در این تحقیق از آن استفاده شده است . همچنین بدلیل رایگان و متن باز بودن این سیستم ها، از توسعه بیشتر و هزینه بسیار کمتری نسبت به اکثر پایگاه داده های تجاری برخوردار است. در این مقاله پس از معرفی داده های بزرگ و مدل ها و روش های کاربردی آن، به پیاده سازی بستر هادوپ و سپس تشریح روش های معماری موازی ونگاشت کاهش و بررسی قابلیت های ویژه مطرح در این حوزه خواهیم پراخت

Keywords:

داده های بزرگ , داده کاوی , کلان داده , بانک داری , هادوپ Hadoop , نگاشت کاهش MapReduce