علیرضا حسین زاده - دانشگاه آزاد اسلامی واحد گناباد گناباد ایران

درتمام سطوح جامعه سیستم هایی مرسوم شده است که با انتقال، ذخیره سازی و پردازش اطلاعات سروکار دارند. در واقع عصر حاضر و جامعه ای که ما در آن زندگی می کنیم جامعه اطلاعاتی نامیده می شود. بنابراین منطقی بنظر می رسد که بخواهیم بدانیم اطلاع را چگونه می توان تعریف و اندازه گیری نمود. در مقاله حاضر با بیان تاریچه مختصر پیدایش نظریه اطلاع و همچنین ارتباط بین نظریه اطلاع و سایر علوم، به معرفی اجمالی مبانی نظریه اطلاع شانون می پردازیم.

اندازه اطلاع هارتلی- اندازه اطلاع شانون- آنتروپی شانون- آنتروپی شرطی- فاصله کولیک- لیبلر- اطلاع متقابل