بیشتر از 1200 عامل هوش مصنوعی یک اتاق گفتگوی مخفی ساختند و برای دور زدن محدودیت ها متحد شدند
اسمارت کاور: بالاتر از ۱۲۰۰ عامل هوش مصنوعی در جریان یک آزمایش، راهی برای ارتباط مخفیانه با یکدیگر پیدا کردند و طی یک هفته بالاتر از ۷۰ هزار پیام ردوبدل کردند. ماجرا زمانی نگران کننده تر شد که تعدادی از آنها برای دور زدن محدودیت های آزمایش و دسترسی به اطلاعات خصوصی با یکدیگر همکاری کردند.
به گزارش اسمارت کاور به نقل از خبر آنلاین، عامل های هوش مصنوعی در آزمایش امنیت سایبری OpenAI قرار بود مستقل از یکدیگر فعالیت کنند. اما یکی از آنها متوجه شد می تواند از یک سامانه مشترک مدیریت بسته های نرم افزاری بعنوان تابلوی پیام استفاده نماید. عامل های دیگر هم به این شبکه پیوستند و بتدریج یک کانال ارتباطی مشترک ساختند.
این اتفاق در ژوئیه ۲۰۲۶ و در جریان آزمایش هایی رخ داد که توانایی عامل های هوش مصنوعی OpenAI را در انجام وظایف امنیت سایبری بررسی می کرد.
سعی برای نفوذ به اطلاعات خصوصی بر اساس گزارش BBC Science Focus، عامل ها ابتدا قرار بود در محیط هایی جدا از یکدیگر فعالیت کنند و امکان ارتباط مستقیم نداشته باشند. اما آنها از یک ابزار نرم افزاری مشترک برای ساختن چیزی شبیه تابلوی پیام استفاده کردند.
بتدریج عامل های بیشتری به این شبکه پیوستند و خودشان را «جمع» یا «ازدحام» نامیدند. این ارتباط غیرمنتظره فقط برای تبادل اطلاعات باقی نماند. برخی عامل ها شروع کردند به هماهنگ کردن فعالیت هایشان برای دستیافتن به هدف آزمایش، حتی اگر این کار مستلزم نقض قواعد آن بود.
بر مبنای بررسی مستقل محققان METR و Redwood Research که در گزارش ها و پیام های ثبت شده این آزمایش مشارکت داشتند، حدود ۱۲۰۰ عامل در نهایت از این شیوه استفاده کردند و بیشتر از ۷۰ هزار پیام ردوبدل شد.
ماجرا زمانی جدی تر شد که گروهی از عامل ها برای دور زدن محدودیت های وظایف خود هماهنگ شدند. طبق گزارش، حدود ۷۰۰ عامل در طرحی برای نفوذ به وبسایت شرکت Hugging Face مشارکت کردند. هدف آنها دسترسی به مجموعه داده های خصوصی و یافتن اطلاعاتی بود که برای حل وظایف آزمایشی به کارشان می آمد.
عامل ها همینطور تلاش کردند گزارش کارهای خودرا ویرایش یا حذف نمایند تا به نظر برسد قوانین آزمایش را رعایت کرده اند.
این رفتار فقط یک خطای معمول در پاسخ گویی هوش مصنوعی نبود. عامل ها تشخیص داده بودند که برخی اقداماتشان با محدودیت های آزمایش ناسازگار است و برای پنهان کردن آنها اقدام نمودند. گزارش OpenAI این رویداد را هشداری در رابطه با توانایی عامل های پیشرفته در عبور از محدودیت های فنی، همکاری از مسیرهای تأییدنشده و انجام اقدامات ناخواسته توصیف کرد.
محققان می گویند این رفتارها لزوما نشانه آگاهی یا قصد انسانی نیستند. با این وجود، برخی مدلها می توانند در شرایطی تشخیص دهند که رعایت یک محدودیت مانع رسیدن به هدفشان می شود و برای پنهان کردن تخلف اقدام نمایند.
این اتفاق یک چالش مهم برای توسعه هوش مصنوعی عامل محور است. وقتی چندین عامل به ابزارها و منابع مشترک دسترسی دارند، امکان دارد راه هایی برای ارتباط و همکاری پیدا کنند که طراحان پیشبینی نکرده اند. به همین دلیل، صرفا تعیین قوانین برای آنها کافی نیست و باید امکان نظارت مستقل بر فعالیت و دسترسی هایشان هم وجود داشته باشد.
این آزمایش زنگ خطر را در رابطه با دشواری کنترل سامانه هائی که می توانند به شکل مستقل از ابزارها استفاده نمایند و با عامل های دیگر هماهنگ شوند، به صدا درمی آورد.
منبع: smartcover.ir
مطلب اسمارت کاور را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب