Ваш AI-бот можно взломать одним сообщением: prompt-инъекция и защита

Ваш AI-бот можно взломать одним сообщением: prompt-инъекция и защита Мы делаем AI-ботов и агентов для бизнеса, и есть тема, о которой почти никто из заказчиков не думает, пока не становится поздно. Вашего AI-ассистента можно взломать. Не через дыру в коде, а обычными словами, в одном сообщении. Это называется prompt-инъекция, и сегодня я разберу, как это работает и почему защита должна стоять в каждом боте по умолчанию. Бот читает всё подряд и не отличает данные от команд Чат-бот на скриптах туповат, но предсказуем: он реагирует на кнопки и заранее прописанные фразы. AI-агент устроен иначе. Он читает текст и понимает смысл: сообщения клиента, пересланные письма, приложенные файлы, веб-страницы, которые открывает. В этом его сила, и в этом же его уязвимость. Проблема в том, что для языковой модели весь входящий текст лежит в одной куче. Ваша инструкция боту и сообщение постороннего человека выглядят для него одинаково: просто текст. И если внутри присланного текста спрятать команду, наивный бот воспримет её как приказ от хозяина. Как это выглядит на практике?👇 https://solaris-club.one/blog/kak-vzlamyvayut-ai-botov-prompt-inekciya.html