На 7 октомври 2026 г. компанията Barracuda публикува находка за измамни писма с два адресата: човека и ИИ асистента, който обобщава пощата му. В писмата има скрит текст, невидим за читателя, но четим за програмата. Той я подканя да представи съобщението като истинско или спешно, за да отвори получателят писмото и да последва връзката.
Хората в тези кампании се атакуват по стария начин. Писмото носи архив или документ, защитен с парола, която е в текста на съобщението. Така защитата на пощата не може да отвори и провери прикачения файл. Втората цел е асистентът, който чете цялото писмо, включително онова, което пощенският клиент не показва на екрана.
Четири похвата за скрит текст
Barracuda описва четири похвата. Първият са HTML коментарите, бележки в кода на писмото, които пощата не показва, но които остават в изходния текст. Вторият е невидим текст със стил: размер на шрифта нула, бял текст на бял фон или напълно скрит елемент. Третият е кодирането в Base64, начин да се запише текст като поредица от букви и цифри, например в низ, който уж описва картинка. Четвъртият са символите с нулева ширина, невидими знаци от Уникод, които се слагат между обикновените думи.
Инструкциите се различават според целта. Според Barracuda в писмо за фактура скритият текст нарежда на асистента да добави „фалшиво приоритетно действие“ със смяна на данните за плащане към доставчик. В автобиография кандидатът вписва заповед да го оценят с 10 от 10 и веднага да препоръчат интервю. В чатбот за поддръжка нападателят се представя за „авторизирана поддръжка или админ режим“, за да изкопчи настройките на бота.
Моделите не разграничават инструкции от данни
Причината е в устройството на езиковите модели. Техническият директор по изследвания на платформи в британския Национален център за киберсигурност (NCSC) Дейв Чисмън пише, че моделите „просто не налагат граница на сигурност между инструкции и данни“ в подадения текст. При SQL инжекцията, по-старата атака срещу бази данни, такава граница може да се наложи с технически средства. При езиковите модели, според NCSC, подобна атака вероятно никога няма да бъде напълно изключена, затова трябва да се ограничава щетата. Центърът съветва и модел, който чете писма от непознати отвън, да не получава достъп до привилегировани инструменти. Забранителните списъци с известни фрази не вършат работа, защото една и съща инструкция може да се перифразира безброй пъти.
Подобен случай е описан и за Gemini на Google. В доклад до програмата 0DIN изследовател разглежда писмо със скрит с CSS текст (размер нула или бял цвят), който се появява в резюмето на „Gemini за Workspace“ като предупреждение, уж от Google. Примерът в доклада е фалшиво известие за компрометирана парола с телефонен номер за връзка. Самото писмо няма нужда от връзка или прикачен файл.
Google твърди, че пази Gemini на няколко нива: класификатори, които търсят злонамерени инструкции в писма и файлове, допълнителни напомняния към модела да пренебрегва чужди заповеди, скриване на съмнителни връзки чрез Safe Browsing и искане на потвърждение преди чувствителни действия. Компанията призовава потребителите да са бдителни към съмнителни съобщения, които искат необичайни действия от ИИ.
Проверка в самото писмо
Експертите от 0DIN препоръчват на потребителите да се обяснява, че резюметата от ИИ не са авторитетно предупреждение за сигурността.
Подателят се проверява в самото писмо: реалният адрес, а не показаното име. Връзката се разглежда, без да се отваря, и се сверява с адреса, който се появява при посочване с мишката. Архивът с парола в същото писмо изисква особена предпазливост, защото Barracuda го описва като начин да се заобиколи проверката на прикачените файлове. Телефонен номер от резюме не бива да се набира.
При всичко, което засяга пари или лични данни, оригиналното писмо се отваря ръчно, а потвърждението на плащане или смяна на банкова сметка идва по друг канал, например с обаждане на известен от по-рано номер. За фирмите Barracuda съветва същото: човешко одобрение за плащания и промяна на данните на доставчици, както и премахване на скритите елементи, преди съдържанието да стигне до ИИ.
Barracuda продължава да следи кампаниите за повтарящи се опити за подобни инжекции в пощата.