به گزارش دیجیاتو، OpenAI اعلام کرده است که مرورگرهای هوش مصنوعی همواره در معرض حملات تزریق پرامپت یا Prompt Injection قرار دارند و این تهدید، حتی با تلاشهای گسترده برای افزایش امنیت مرورگر ChatGPT Atlas، احتمالاً بهطور کامل از بین نمیرود.
این نوع حمله شامل دستکاری عاملهای هوش مصنوعی برای اجرای دستورالعملهای مخرب است که معمولاً در صفحات وب یا ایمیلها پنهان شدهاند و نشان میدهد که استفاده ایمن از عاملهای هوش مصنوعی در محیط باز اینترنت هنوز با مشکلات جدی همراه است. در پست وبلاگی جدید OpenAI تأکید شده که «Prompt Injection مانند کلاهبرداریها و مهندسی اجتماعی در وب، احتمالاً هرگز بهطور کامل برطرف نمیشود» و فعالکردن حالت Agent Mode در ChatGPT Atlas سطح تهدیدات امنیتی را افزایش میدهد.
OpenAI میگوید تهدید تزریق پرامپت همیشگی است
مرورگر ChatGPT Atlas در اکتبر عرضه شد و محققان امنیتی بهسرعت نشان دادند که حتی نوشتن چند کلمه در گوگل داکس میتواند رفتار مرورگر را تغییر دهد. همان روز، شرکت Brave هشدار داد که Prompt Injection غیرمستقیم یک مشکل سیستماتیک برای مرورگرهای هوش مصنوعی مانند Perplexity Comet است. مرکز امنیت سایبری بریتانیا نیز اعلام کرده است که این حملات ممکن است هرگز بهطور کامل کاهش نیابند و وبسایتها را در معرض نشت داده قرار دهند، بنابراین توصیه شده تمرکز بر کاهش اثرات و ریسکها باشد، نه توقف کامل حملات.
OpenAI این مسئله را یک چالش امنیتی پایدار میداند و تأکید کرده است که تقویت مداوم سیستمهای دفاعی ضروری است. راهکار این شرکت شامل یک چرخه پاسخ سریع و پیشگیرانه است که میخواهد استراتژیهای جدید حملات سایبری را پیش از وقوع در داخل شرکت شناسایی کند. یکی از ابزارهای اصلی OpenAI، «مهاجم خودکار مبتنی بر LLM» است که با یادگیری تقویتی آموزش دیده و نقش هکری را ایفا میکند که سعی دارد دستورالعملهای مخرب را به عامل هوش مصنوعی منتقل کند. این ابزار قادر است حمله را ابتدا در شبیهسازی آزمایش، واکنش عامل هدف را بررسی، حمله را اصلاح و آن را دوباره اجرا کند تا نقاط ضعف سریعتر از مهاجم واقعی شناسایی شوند.
علاوهبراین، OpenAI به کاربران توصیه میکند که به عاملهای هوش مصنوعی دستورات روشن و مشخص بدهند و دسترسی کامل به ایمیل یا دادههای حساس را محدود کنند، زیرا آزادی عمل زیاد میتواند حتی با وجود مکانیزمهای امنیتی، ایجنت را تحتتأثیر محتوای مخرب قرار دهد. اگرچه محافظت کامل در برابر حملات تزریق پرامپت دشوار است، اما OpenAI با آزمایشهای گسترده و چرخههای بهروزرسانی سریع تلاش میکند امنیت سیستمها را پیش از وقوع حملات واقعی تقویت کند. تحلیلگران هشدار میدهند که مرورگرهای عاملمحور هنوز ارزش کافی برای توجیه ریسک دسترسی به دادههای حساس ارائه نمیکنند و حفظ تعادل میان مزایا و معایب همچنان یک چالش واقعی است.
- 16
- 6
