سیستمهای خبره بر اساس هوش مصنوعی (AI) و با استفاده از زبانهای LISP، PROLOG و یا زبانهای برنامهسازی پیشرفته دیگر ساخته میشوند.
آمار و هوش مصنوعی بطور متقابل به توسعه یکدیگر کمک میکنند. از یک طرف روشهای آماری برای توصیف مفاهیم مبهم در سیستمهای خبره مورد استفاده قرار میگیرد. از طرف دیگر سیستمهای خبره بعنوان ابزار فراگیری مفاهیم میتوانند برای حل تعداد زیادی از مسائل طبقهبندی کردن آماری مورد استفاده قرار گیرد. بخصوص در روشهای تعطیل رگرسیون، تحلیل ممیزی، تحلیل خوشهای و تحلیل سریهای زمانی کاربرد فراوانی دارد.
در این مقاله یکی از الگوریتمهایی را که کاربرد زیادی دارد مورد بررسی قرار میدهیم. این الگوریتم توس Quilan در سال 1979 تحت عنوان ID3، برای حالتی که متغیر کلاس کیفی باشد، ارائه و تا سال 1986 اصلاح و تکمیل گردید. نتیجه این الگوریتم قواعدی است که بر اساس آن به مسائل طبقهبندی جواب داده میشود. در کنار این الگوریتم برای حالتی که متغیرها پیوسته باشند الگوریتم Regression Tree توسل (984,1) Breiman مطرح میشود.