از هوش مصنوعی پاسخ گو تا عامل خودمختار؛ چرا سازمان های حیاتی به حکمرانی اختیار نیاز دارند؟

یادداشت تحلیلی

هوش مصنوعی در حال عبور از مرحله تولید محتوا و ارائه پاسخ به مرحله ای تازه است؛ مرحله ای که در آن سامانه های هوشمند می توانند هدف دریافت کنند، برای دستیابی به آن برنامه ریزی کنند، ابزارهای نرم افزاری را به کار بگیرند و مجموعه ای از اقدامات را بدون دریافت دستور مستقیم برای تک تک مراحل اجرا کنند. این تحول، صرفا به معنای افزایش سرعت و توان پردازش نیست؛ بلکه تغییری اساسی در رابطه میان انسان، فناوری و قدرت تصمیم گیری در سازمان هاست.

تا زمانی که یک سامانه هوش مصنوعی صرفا پیشنهاد ارائه می کند، مسئولیت اجرای تصمیم عمدتا بر عهده انسان باقی می ماند. اما هنگامی که سامانه به ابزارها، داده ها و زیرساخت های عملیاتی دسترسی پیدا می کند و قادر به اجرای تصمیم های خود می شود، مرز میان «پیشنهاددهنده» و «کنشگر» تغییر می کند. از این نقطه به بعد، یک خطای تحلیلی ممکن است از سطح یک پاسخ نادرست فراتر برود و به تغییر تنظیمات یک سامانه، اختلال در ارائه خدمت یا ایجاد خسارت عملیاتی منجر شود.

این مسئله در سازمان های حیاتی، از جمله صنایع نفت و گاز، شبکه های انرژی، نظام سلامت، بانکداری، ارتباطات و زیرساخت های حمل ونقل، اهمیت بیشتری دارد. در این محیط ها، پیامد یک اقدام نادرست ممکن است به یک واحد سازمانی محدود نماند و زنجیره ای از اختلال ها را ایجاد کند. بنابراین، مسئله اصلی دیگر صرفا این نیست که هوش مصنوعی تا چه اندازه دقیق یا توانمند است؛ پرسش تعیین کننده آن است که این سامانه تا کجا اختیار دارد و چه سازوکاری مانع تبدیل خطای آن به بحران می شود؟

مسئله اصلی: توانایی فنی، معادل اختیار سازمانی نیست

یکی از خطاهای مهم در استقرار عامل های هوشمند، یکسان دانستن توانایی فنی با مجوز عملیاتی است. ممکن است یک عامل از نظر فنی قادر باشد به اطلاعات حساس دسترسی پیدا کند، تنظیمات یک سامانه را تغییر دهد یا عملیاتی را به صورت خودکار اجرا کند؛ اما این قابلیت به هیچ وجه به معنای آن نیست که باید اجازه انجام تمام این اقدامات را داشته باشد.

در یک سازمان حیاتی، اختیار باید بر اساس ماموریت، سطح دسترسی، شرایط محیطی و پیامد احتمالی اقدام تعیین شود. عامل هوشمندی که برای تحلیل داده های یک پالایشگاه طراحی شده است، لزوما نباید مجوز تغییر مستقیم تنظیمات تجهیزات را نیز داشته باشد. به همین ترتیب، عاملی که رخدادهای امنیت سایبری را تحلیل می کند، نباید صرفا به دلیل توانایی تشخیص تهدید، اختیار نامحدود برای قطع ارتباط سامانه های عملیاتی پیدا کند.

در واقع، هرچه عامل به منابع حساس تر دسترسی داشته باشد و اقدامات آن پیامدهای گسترده تری ایجاد کند، ضرورت کنترل اختیار افزایش می یابد. این اصل را می توان در یک گزاره خلاصه کرد: هوشمندی بیشتر باید با حکمرانی دقیق تر همراه باشد، نه با واگذاری بی قیدوشرط اختیار.

چرا ابزارهای متداول امنیت سایبری به تنهایی کافی نیستند؟

امنیت سایبری متعارف عمدتا بر حفاظت از شبکه، داده، هویت کاربران، نرم افزارها و زیرساخت ها تمرکز دارد. این اقدامات همچنان ضروری اند، اما در محیط عامل های هوشمند کافی نیستند؛ زیرا عامل علاوه بر برخورداری از هویت و دسترسی، می تواند تصمیم بگیرد چگونه از ابزارهای در اختیار خود استفاده کند.

برای مثال، ممکن است یک عامل با هویت معتبر وارد سامانه شده باشد، دسترسی های آن نیز مطابق تنظیمات فنی تعریف شده باشند، اما در اثر دریافت اطلاعات گمراه کننده یا تفسیر نادرست یک دستور، اقدامی انجام دهد که با هدف سازمانی یا الزامات ایمنی سازگار نباشد. در چنین شرایطی، مشکل لزوما نفوذ غیرمجاز نیست؛ بلکه ممکن است استفاده نامناسب از دسترسی مجاز باشد.

این تمایز اهمیت زیادی دارد. سازمان باید علاوه بر پرسش های سنتی امنیت، به پرسش های جدیدی نیز پاسخ دهد: عامل بر چه مبنایی تصمیم می گیرد؟ چه اقداماتی برای آن مجاز است؟ چه کسی تصمیم های حساس را تایید می کند؟ چگونه می توان رفتار غیرعادی را شناسایی کرد؟ و در صورت بروز خطر، آیا امکان توقف فوری عامل وجود دارد؟

به همین دلیل، امنیت عامل های هوشمند باید از حفاظت صرف از زیرساخت فراتر برود و کنترل رفتار، حدود اختیار و پیامد اقدامات را نیز دربرگیرد.

چارچوب پیشنهادی؛ حکمرانی بر چرخه اقدام

برای مدیریت این چالش، نمی توان به تدوین یک سیاست کلی درباره استفاده از هوش مصنوعی اکتفا کرد. آنچه موردنیاز است، سازوکاری اجرایی است که از تعریف ماموریت عامل آغاز شود و تا نظارت بر عملکرد، ثبت اقدامات و بازبینی مجوزها ادامه یابد.

در این چارچوب، هفت مولفه اهمیت محوری دارند:

۱. هویت مستقل عامل: هر عامل باید هویت مشخص و قابل ردیابی داشته باشد تا اقدامات آن از فعالیت کاربران و سایر سامانه ها تفکیک شود.

۲. اصل حداقل دسترسی: عامل فقط به داده ها، ابزارها و منابعی دسترسی داشته باشد که برای انجام ماموریت مشخص خود نیاز دارد.

۳. تعیین حدود اختیار: توانایی اجرای یک اقدام نباید به معنای مجاز بودن آن باشد. حدود اختیار باید صریح، محدود و قابل اعمال باشند.

۴. طبقه بندی ریسک اقدامات: تحلیل اطلاعات و تولید هشدار با تغییر تنظیمات یک زیرساخت حساس، از نظر پیامد یکسان نیستند. سطح کنترل باید متناسب با ریسک هر اقدام تعیین شود.

۵. ثبت و حسابرسی: تصمیم ها و اقدامات مهم باید به گونه ای ثبت شوند که امکان بررسی رخداد، شناسایی علت خطا و تعیین مسئولیت فراهم باشد.

۶. نظارت انسانی موثر: انسان باید در تصمیم های حساس امکان واقعی تایید، رد یا محدودسازی اقدام را داشته باشد؛ نه اینکه صرفا ناظر فرایندی باشد که عملا کنترلی بر آن ندارد.

۷. امکان توقف و بازبینی: سازمان باید بتواند در شرایط اضطراری، فعالیت عامل را متوقف کند، دسترسی های آن را محدود سازد و مجوزهایش را مورد بازنگری قرار دهد.

منطق این چارچوب، حذف خودمختاری نیست؛ بلکه تنظیم آن بر اساس ریسک است. اقدامات کم خطر می توانند با استقلال بیشتری انجام شوند، در حالی که اقدامات حساس باید تحت کنترل های سخت گیرانه تر قرار گیرند. چنین رویکردی هم ظرفیت خودکارسازی را حفظ می کند و هم از واگذاری اختیار نامتناسب جلوگیری می کند.

از صنعت انرژی تا امنیت سایبری؛ تفاوت در کاربرد، اشتراک در منطق

فرض کنیم یک عامل هوشمند در یک مجموعه نفت و گاز وظیفه پایش تجهیزات و شناسایی وضعیت های غیرعادی را بر عهده دارد. این عامل می تواند با سرعت بالا داده ها را تحلیل کند و هشدارهای ارزشمندی ارائه دهد. اما اگر بدون ارزیابی ریسک و کنترل مناسب اجازه تغییر مستقیم تنظیمات تجهیزات را داشته باشد، یک تصمیم اشتباه می تواند پیامدهای عملیاتی جدی ایجاد کند.

در حوزه سلامت نیز عامل هوشمند می تواند در تحلیل اطلاعات و شناسایی الگوهای مشکوک نقش موثری ایفا کند. با این حال، تحلیل و پیشنهاد با اتخاذ تصمیم نهایی درباره یک اقدام حساس درمانی تفاوت دارد. در اینجا نیز سطح اختیار باید با پیامد احتمالی تصمیم تناسب داشته باشد.

در عملیات امنیت سایبری، مسئله پیچیده تر می شود. عامل می تواند حجم بزرگی از رخدادها را بررسی کند، تهدیدهای احتمالی را شناسایی کند و حتی اقدام اصلاحی پیشنهاد دهد. اما اگر تشخیص آن اشتباه باشد و اختیار مسدودسازی گسترده سامانه ها را داشته باشد، ابزار مقابله با تهدید ممکن است خود به منشا اختلال تبدیل شود.

این نمونه ها نشان می دهند که حوزه فعالیت متفاوت است، اما مسئله حکمرانی مشترک باقی می ماند: چه کسی یا چه سازوکاری تعیین می کند که عامل، در چه شرایطی، تا چه اندازه و با چه سطحی از نظارت اجازه اقدام دارد؟

چالش راهبردی: مسئولیت پذیری در زنجیره تصمیم

با افزایش خودمختاری عامل ها، تعیین مسئولیت نیز پیچیده تر می شود. اگر یک عامل بر اساس داده های ناقص تصمیمی نادرست بگیرد، آیا مسئولیت صرفا متوجه توسعه دهنده است؟ آیا سازمان مستقرکننده عامل باید پاسخ گو باشد؟ نقش مدیر فرایند، طراح سیاست دسترسی و ناظر انسانی چیست؟

پاسخ به این پرسش ها را نمی توان به زمان وقوع حادثه موکول کرد. مسئولیت باید پیش از استقرار عامل و در طراحی سازوکار حکمرانی مشخص شود. سازمان باید بداند چه کسی ماموریت عامل را تعریف می کند، چه کسی مجوزهای آن را تایید می کند، چه نهادی بر عملکردش نظارت دارد و در صورت وقوع رخداد، چه فرایندی برای بررسی و پاسخ گویی اجرا می شود.

همچنین، نظارت انسانی زمانی معنا دارد که متناسب با سرعت و ماهیت عملیات طراحی شده باشد. اگر عامل در چند ثانیه اقدامی حساس انجام دهد اما سازوکار نظارتی چند ساعت بعد از آن مطلع شود، وجود ناظر به تنهایی تضمین کننده کنترل نیست. بنابراین، نظارت موثر باید با محدودیت های پیش از اجرا، پایش حین اجرا و امکان مداخله به موقع همراه باشد.

پیشنهادهای اجرایی برای سازمان های حیاتی

برای استقرار مسئولانه عامل های هوشمند، سازمان های حیاتی می توانند اقدامات زیر را در اولویت قرار دهند:

• تهیه فهرست عامل ها و اختیارات آن ها: مشخص شود هر عامل در کدام فرایند فعالیت می کند، به چه منابعی دسترسی دارد و چه اقداماتی مجاز است انجام دهد.
• شروع از کاربردهای کم ریسک: استقرار مرحله ای با وظایف تحلیلی و پشتیبانی از تصمیم، پیش از واگذاری اختیار عملیاتی گسترده، امکان شناسایی ضعف ها را فراهم می کند.
• ایجاد کنترل پیش از اقدام: اقدامات حساس باید پیش از اجرا از نظر مجوز، زمینه عملیاتی و پیامد احتمالی بررسی شوند.
• تفکیک محیط آزمایش از محیط عملیاتی: آزمایش عامل ها نباید به طور ناخواسته به تغییرات کنترل نشده در سامانه های واقعی منجر شود.
• طراحی سناریوهای شکست: سازمان باید از پیش بررسی کند که عامل در صورت دریافت اطلاعات نادرست، از دست دادن ارتباط، رفتار غیرمنتظره یا تشخیص اشتباه چه پیامدهایی ایجاد می کند.
• تعریف سازوکار توقف اضطراری: توقف عامل و محدودسازی دسترسی های آن باید از نظر فنی آزموده شود، نه اینکه صرفا در اسناد سازمانی پیش بینی شده باشد.
• ارزیابی مستمر پس از استقرار: تغییر مدل، ابزار، ماموریت یا محیط عملیاتی باید موجب بازبینی متناسب ریسک و مجوزها شود.

این اقدامات زمانی اثربخش خواهند بود که مسئولیت اجرای آن ها میان مدیریت سازمان، واحد فناوری اطلاعات، امنیت سایبری، متولی فرایند عملیاتی و نهادهای نظارتی به صورت روشن تقسیم شود.

جمع بندی

عامل های هوشمند می توانند ظرفیت سازمان های حیاتی را در تحلیل داده، پایش مداوم، تشخیص ناهنجاری و خودکارسازی عملیات افزایش دهند. با این حال، مزیت این فناوری زمانی پایدار خواهد بود که توسعه قابلیت های آن با ایجاد سازوکارهای متناسب برای کنترل و پاسخ گویی همراه شود.

خطای راهبردی آن است که سازمان، افزایش توانایی عامل را به صورت خودکار معادل افزایش اختیار آن بداند. عامل هوشمند باید بتواند در محدوده ماموریت خود عمل کند، اما دسترسی فنی آن نباید به مجوز نامحدود برای تغییر محیط عملیاتی تبدیل شود.

از این منظر، حکمرانی عامل های هوشمند یکی از الزامات اساسی تحول دیجیتال در سازمان های حیاتی است. سازمان موفق، سازمانی نیست که بیشترین اختیار را به هوش مصنوعی واگذار می کند؛ بلکه سازمانی است که می داند کدام اختیار را، تحت چه شرایطی، با چه سطحی از کنترل و با چه سازوکار پاسخ گویی می توان به عامل هوشمند سپرد.

در نهایت، آینده استفاده از هوش مصنوعی در زیرساخت های حیاتی فقط به میزان پیشرفت مدل ها وابسته نیست؛ به همان اندازه به کیفیت حکمرانی بر اقداماتی بستگی دارد که این مدل ها قادر به انجام آن ها شده اند.