کاربرد یادگیری تقویتی در یک مدل سازی عامل محور برای بازار عمده فروشی برق ایران

مطالعات اخیر بازارهای عمده فروشی برق عموما براساس مدل های چندعاملی است، که در آن ها تعادل بازار برپایه  رقابت و تعامل عوامل متعدد با یک دیگر به دست می آید. از ویژگی های اصلی این نوع مدل ها، امکان یادگیری عوامل از نتایج رفتار خود و سایرین دریک محیط رقابتی است. در بازار عمده فروشی برق، هرعامل یک واحد تولیدکننده برق است که به صورت مستقل و هوشمند با سایر عامل ها برای عرضه برق با قیمت های پیشنهادی رقابت می کند. فرآیند قیمت گذاری را می توان یک بازی ایستا فرض نمود که هرروز تکرار می شود. در این بازی هر عامل قیمت پیشنهادی خود را مستقلا اعلام نموده و بهره بردار با توجه به تقاضای بار مصرفی و محدودیت ها، بهترین پیشنهادها را انتخاب می نماید. عامل به صورت عقلائی عمل نموده و با انتخاب استراتژی مناسب، به دنبال بیشینه نمودن سود بلندمدت خود است. در این راستا، عامل از قدرت یادگیری و بهبود استراتژی قیمت گذاری، که نقش بسیار تعیین کننده در موفقیت عامل دارد، استفاده می کند. یادگیری تقویتی یک روش کلاسیک است که در مدل های چندعاملی امکان یادگیری مبتنی بر سعی و خطا را فراهم می نماید. هدف این مقاله کاربرد و مطالعه روش های یادگیری تقویتی در مدل چندعاملی بازار برق ایران و مقایسه آن ها با دو استراتژی تصادفی و حریصانه است. در این مطالعه، میزان سود واحدها و زمان رسیدن به حالت تعادل به عنوان ملاک ارزیابی در نظر گرفته شده است. نتایج شبیه سازی نشان می دهد، استراتژی یادگیرنده سود عامل ها را به طور معناداری افزایش می دهد و سرعت همگرائی به حالت تعادل را بیشتر می کند.

Keywords:

مدل سازی عامل محور , بازار برق , یادگیری تقویتی , نظریه بازی ها , ایران