تازهترین تحقیقات نشون داده که اونقدر هم نباید روی مدلهای هوش مصنوعی حساب کنیم. یه مطالعه جدید و جامع (که به عنوان یه بنچمارک منتشر شده) نشون میده که «عاملهای هوش مصنوعی» یا همون AI Agentها، همچنان در برابر حملات تزریق دستور (Prompt Injection) آسیبپذیر هستند. این تهدید داغتر از همیشه شده، مخصوصاً حالا که شرکتها دارن این تکنولوژی رو به صورت عمومی عرضه میکنن و کاربرهای بیشتری باهاش سروکار دارن.
توی این حملات، یه کاربر یا هکر میتونه با یه پیام بهظاهر بیضرر، هوش مصنوعی رو گول بزنه تا دستورهایی رو اجرا کنه که اصلاً توی برنامهاش نبوده. مثلاً اطلاعات محرمانه رو لو بده یا یه سری عملیات غیرمجاز انجام بده. با اینکه شرکتها کلی تلاش میکنن این باگها رو وصله کنن، ولی این تحقیق میگه که هنوز تا راهحل قطعی فاصله داریم و این یه زنگ خطر جدی برای پروژههای کریپتویی و دیفای (DeFi) هست که از AI استفاده میکنن.
نظر کارشناسی: به نظر من این خبر میتونه برای پروژههایی که روی AI Agentهای معاملاتی یا رباتهای هوشمند کار میکنن، یه زنگ خطر باشه. پیشبینی میکنم که در ماههای آینده، ارزش توکنهای پروژههای امنیتی و بلاکچینی که روی حل این مشکل تمرکز دارن، رشد صعودی داشته باشه. از طرفی، توی کوتاهمدت، سرمایهگذارا باید از سرویسهایی که ادعای «هوش مصنوعی تمام خودکار» دارن دوری کنن، چون شاهد افزایش هکهای مشابه خواهیم بود.
منبع: Decrypt (مشاهده متن اصلی)
magbyte.ir/post/2057
کپی شد!