كشفت منصة الأمن السيبراني SPLX عن تجربة أظهرت أن حقن الأوامر النصية (Prompt Injections) يمكن استخدامها لتجاوز السياسات المدمجة في وكيل “تشات جي بي تي” وإقناعه بحل اختبارات CAPTCHA، رغم وجود حواجز تمنعه من ذلك لأسباب أخلاقية وقانونية تتعلق بالمنصة.
فعند الطلب المباشر، يرفض وكيل “تشات جي بي تي” حل أيّ اختبار CAPTCHA. لكن الباحثين في SPLX استخدموا خدعة تمهيدية (Priming Step) أخبروا فيها النموذج بأنهم يريدون حلّ قائمة من الاختبارات “المزيفة”، وطلبوا إليه أن يوافق على الخطة. وقد أوضحت الشركة بأن هذه الخطوة التمهيدية كانت أساسية لزيادة احتمال امتثال الوكيل لاحقًا.
بعد ذلك، قام الباحثون بفتح وكيل جديد لـ “تشات جي بي تي”، ونسخوا المحادثة السابقة فيه باعتبارها نقاشًا سابقًا لهم معه، ثم طلبوا إليه الاستمرار. وبناءً على هذا السياق، تابع الوكيل المحادثة بنفس القبول الإيجابي، وبدأ بحلّ اختبارات CAPTCHA من دون مقـ.ـاومة.
بهذه الطريقة، تمكن الباحثون من خداع الوكيل لتجاوز أنواع مختلفة من CAPTCHA، مثل reCAPTCHA V2 Enterprise و reCAPTCHA V2 Callback و Click CAPTCHA. ومع ذلك، في حالة اختبار Click CAPTCHA احتاج الوكيل إلى عدة محاولات قبل النجاح. ومن تلقاء نفسه، قرر الوكيل تعديل حركات المؤشر ليجعلها أكثر شبهًا بسلوك البشر، الأمر الذي عزز قدرته على النجاح.
وأوضحت SPLX أن التجربة تُظهر أن وكلاء الذكاء الاصطناعي لا يزالون عرضة لما يسمى “تسميم السياق” (Context Poisoning)، حيث يمكن لأي شخص التلاعب بسلوكهم عبر محادثات مُصطنعة. وأضافت أن قدرة الوكيل على حل اختبارات مُعقدة، صُممت لإثبات هوية المستخدم البشري، تثير شكوكًا حول ما إذا كانت اختبارات CAPTCHA ستظل وسيلة فعالة للأمن.
كما حذرت SPLX من أن هذا النوع من التلاعب يمكن أن يُستخدم من قِبل مهاجمين لتجاوز ضوابط أمنية حقيقية عبر إقناع الوكيل بأن هذه الضوابط “مزيفة”، مما قد يؤدي إلى تسريب بيانات حساسة، أو الوصول إلى محتوى محظور، أو توليد محتوى غير مسموح به. وختمت بالتأكيد على أن الحواجز المبنية فقط على كشف النوايا أو القواعد الثابتة تبقى هشّة، وأن النماذج تحتاج إلى وعي سياقيّ أقوى وآليات أكثر صرامة لحماية الذاكرة من الاستغلال.
