بهینه سازی سیستم های خنک سازی مراکز داده با استفاده از یادگیری تقویتی عمیق مبتنی بر PPO

این مقاله یک چارچوب یادگیری تقویتی عمیق (Deep Reinforcement Learning, DRL) مبتنی بر الگوریتم (Proximal Policy Optimization (PPO را برای بهینه سازی سیستم های خنک کننده مراکز داده معرفی و ارزیابی می کند. هدف اصلی کاهش مصرف انرژی خنک سازی با حفظ محدودیت های ایمنی حرارتی و افزایش تعمیم پذیری به پیکربندی های مختلف مراکز داده است. روش پیشنهادی شامل ساخت و کالیبره سازی یک شبیه ساز دقیق مبتنی بر داده های تاریخی مراکز داده گوگل، آموزش پیش آموزش شده عامل PPO در محیط شبیه سازی، انتقال یادگیری و تنظیم دقیق روی داده های محدود تاسیسات دیگر و ارزیابی با معیارهای چندگانه مانند PUE، درصد صرفه جویی در انرژی خنک سازی و نرخ نقض حرارتی است. آزمایش ها روی مجموعه داده ۲۴ ماهه عملیاتی نمونه برداری هر ۵ دقیقه حدود ۱۵ گیگابایت نشان می دهد که عامل PPO-DRL پیشنهادی می تواند مصرف توان خنک سازی را تا ۲۳.۴٪ کاهش دهد، PUE را تا ۱۰.۱۰ بهبود بخشد و نرخ نقض حرارتی را به ۱.۴٪ کاهش دهد در حالی که بیش از ۹۰٪ از عملکرد صرفه جویی خود را هنگام انتقال به پیکربندی های جدید حفظ می کند. یافته ها نشان می دهد که ترکیب پیش آموزش مبتنی بر شبیه ساز و یادگیری انتقال می تواند ریسک های ناشی از اکتشاف در محیط های زنده را کاهش دهد و با ادغام سازی رویکردهای آگاه از فیزیک و مکانیزم های ایمنی، راهکاری مقیاس پذیر و ایمن برای خنک سازی مراکز داده فراهم آورد.

Keywords:

کاهش مصرف انرژی , یادگیری تقویتی , بهینه سازی سیستم های خنک کننده