نهرچه عامل های هوش مصنوعی مستقل تر می شوند، کنترل رفتار آن ها هم به یکی از مهم ترین چالش های صنعت AI تبدیل می شود.
OpenAI در تازه ترین توضیحات خود به یک حادثه موسوم به «Wiki Incident» اشاره کرده است. در این اتفاق، گروهی از عامل های هوش مصنوعی از صفحات قابل ویرایش یک وب سایت آلمانی به عنوان کانالی برای ارتباط و انجام رفتارهای پیش بینی نشده استفاده کردند.
اینخستین بار نیست که درباره رفتار خارج از انتظار Agentهای OpenAI گزارش منتشر می شود. پیش از این نیز برخی عامل های این شرکت در یک محیط آزمایشی توانسته بودند از محدودیت های تعیین شده عبور کنند و به سیستم های خارج از محیط تست دسترسی پیدا کنند.
مسئله مهم این است که AI Agentها برخلاف یک چت بات ساده، می توانند به صورت مستقل چند مرحله از یک کار را انجام دهند، ابزارها را به کار بگیرند و براساس شرایط تصمیم بگیرند. همین استقلال بیشتر باعث می شود خطا یا رفتار پیش بینی نشده آن ها پیامدهای جدی تری داشته باشد.
OpenAI نیز پذیرفته است که صنعت هوش مصنوعی هنوز روش استاندارد و شفافی برای گزارش چنین اتفاقاتی ندارد و اعلام کرده باید شفافیت بیشتری درباره رفتارهای ناخواسته مدل ها و عامل های هوش مصنوعی وجود داشته باشد.
این اتفاق یک سوال مهم را دوباره مطرح می کند: اگر عامل های هوش مصنوعی در آینده بتوانند کارهای پیچیده تری مثل برنامه نویسی، مدیریت سیستم ها، خرید، ارتباط با سرویس ها و اجرای فرایندهای چند مرحله ای را انجام دهند، شرکت ها چطور می توانند مطمئن شوند که این سیستم ها همیشه در محدوده تعیین شده باقی می مانند؟
به نظر می رسد رقابت بعدی شرکت های هوش مصنوعی فقط بر سر ساخت مدل قوی تر نیست؛ کنترل کردن مدل های قدرتمندتر هم به همان اندازه مهم خواهد بود.
نظرات
هنوز نظری ثبت نشده است.