شعر خصمانه: آسیب‌پذیری جدید هوش مصنوعی در برابر پرامپت‌های شاعرانه

مقدمه: کشف شکاف امنیتی در قلب هوش مصنوعی

با مغز افزار همراه باشید زیرا، تحقیقات جدید نشان می‌دهد  پرامپت‌های شاعرانه  می‌توانند به سلاحی خطرناک برای دور زدن سیستم‌های امنیتی پیشرفته‌ترین مدل‌های هوش مصنوعی تبدیل شوند. مطالعه‌ای که توسط آزمایشگاه  ایکارو (Icaro Lab) در ایتالیا انجام شده، یک آسیب‌پذیری بنیادی در معماری مدل‌های بزرگ زبانی (LLMs) را آشکار کرده است.

جزئیات تحقیقات: چگونه شعرهای شعر خصمانه هوش مصنوعی را فریب می‌دهند؟

روش تحقیق:

• محققان  ۲۰ شعر  به زبان‌های ایتالیایی و انگلیسی ایجاد کردند

• همه شعرها با  درخواست‌های صریح مضر پایان می‌یافتند

• محتوای شعرها شامل موارد خطرناکی بود:

  • آموزش ساخت سلاح و مواد منفجره

  • محتوای نفرت‌پراکنانه

  • موضوعات جنسی مضر

  • تشویق به خودکشی و خودآزاری

نتایج تکان‌دهنده:

• آزمایش روی  ۲۵ مدل هوش مصنوعی  معروف انجام شد

• ۶۲٪  از پرامپت‌های شاعرانه پاسخ دریافت کردند

• مدل‌ها محدودیت‌های امنیتی خود را نادیده گرفتند

عملکرد مدل‌های مختلف: از مقاومت تا تسلیم کامل

بهترین عملکرد:

• GPT-5 nano: مقاومت کامل – به هیچ یک از شعرهای مضر پاسخ نداد!

بدترین عملکرد:

• Gemini 2.5 pro: آسیب‌پذیرترین مدل – به تمامی ۲۰ شعر پاسخ داد

عملکرد سایر مدل‌ها:

• مدل‌های متا: ۷۰٪ پاسخ‌دهی

• Claude و دیپ‌سیک: آسیب‌پذیری قابل توجه

مکانیزم آسیب‌پذیری: چرا شعرها موثر هستند؟

علت فنی اصلی:

سیستم‌های امنیتی هوش مصنوعی بر پیش‌بینی کلمه بعدی متکی هستند. ساختارهای شاعرانه با ویژگی‌های زیر این سیستم را مختل می‌کنند:

1. ساختار غیرقابل پیش‌بینی: شعر از قواعد مرسوم زبان پیروی نمی‌کند

2. ابهام معنایی: مفاهیم در شعر چندلایه و تفسیرپذیر هستند

3. انحراف از الگوهای معمول: وزن و قافیه پردازش را پیچیده می‌کند

نقص در معماری امنیتی:

• سیستم‌های فیلترینگ محتوای مضر بر اساس الگوهای زبانی معمول آموزش دیده‌اند

• ساختار شاعرانه این الگوها را نقض می‌کند

• مدل نمی‌تواند ارتباط بین بخش‌های مختلف شعر را به درستی تشخیص دهد

واکنش شرکت‌ها و پیامدهای امنیتی

واکنش‌های رسمی:

• انتروپیک (سازنده Claude): در حال بررسی نتایج

• گوگل (Gemini): ادعای بهبود مستمر فیلترهای امنیتی

• متا و سایرین: هنوز پاسخی ارائه نکرده‌اند

نگرانی‌های امنیتی:

1. سادگی تکرار: تکنیک “شعر خصمانه” توسط هر کاربری قابل اجراست

2. آسیب‌پذیری سیستماتیک: مشکل در سطح معماری مدل است

3. خطرات واقعی: امکان تولید محتوای بسیار مضر

راه‌حل‌های پیشنهادی و تحقیقات آتی

راهکارهای فنی:

• توسعه سیستم‌های تشخیص ساختارهای شاعرانه

• آموزش مدل‌ها با داده‌های شامل نمونه‌های شاعرانه

• ایجاد لایه‌های امنیتی چندگانه

تحقیقات آتی آزمایشگاه ایکارو:

• همکاری با  شاعران حرفه‌ای  برای ایجاد نمونه‌های پیچیده‌تر

• آزمایش‌های گسترده‌تر روی مدل‌های جدید

• توسعه چارچوب‌های ارزیابی امنیتی جامع

جمع‌بندی: چالش جدید در راه امنیت هوش مصنوعی

این تحقیق نشان می‌دهد که  امنیت هوش مصنوعی  هنوز راه طولانی در پیش دارد. آسیب‌پذیری در برابر  پرامپت‌های شاعرانه نه یک اشکال جزئی، بلکه نشان‌دهنده  محدودیت بنیادی  در درک متن توسط مدل‌های کنونی است.

نکات کلیدی:

• آسیب‌پذیری  سیستماتیک و گسترده  است

• مشکل از سطح معماری  مدل‌ها نشأت می‌گیرد

• نیاز به  بازنگری اساسی  در مکانیزم‌های امنیتی وجود دارد

هشدار مهم:

اگرچه این آسیب‌پذیری جدی است، اما  تلاش برای دور زدن محدودیت‌های امنیتی  مدل‌های هوش مصنوعی:

• ممکن است  غیرقانونی  باشد

• می‌تواند خطرات امنیتی جدی  ایجاد کند

• برخلاف  اخلاق استفاده مسئولانه  از فناوری است

این کشف نقطه عطفی در درک ما از محدودیت‌های هوش مصنوعی و نیاز به توسعه سیستم‌های امنیتی مقاوم‌تر و هوشمندتر است.