بررسی روش Mutual Information در فرآیند انتخاب مشخصه

در اغلب مسائل یادگیری ماشین و داده کاوی با دیتاست هایی با ابعاد بالا مواجه هستیم. از طرفی عملکرد مدل های یادگیری اغلب بستگی به زیرمجموعه مشخصه های انتخاب شده برای مدل دارد. لذا انتخاب مشخصه یک گام پیش پردازشی مهم در حل این قبیل مسائل است. یکی از معمول ترین روش ها، کاهش بعد بر اساس معیار Mutual Information است Mutual Information در تئوری اطلاعات، به عنوان یک معیار کمی یاد می شود که میزان اطلاعات که یک متغیر تصادفی شامل دیگری است را اندازه گیری می کند. این مقاله پس از اشاره به مفاهیم پایه در انتخاب مشخصه MI به بررسی کاربردهای هر یک می پردازد. در انتها سعی شده که در پی شفاف از روش MIFS ارائه دهد.

Keywords:

انتخاب مشخصه , Mutual Information , تئوری اطلاعات