Джеффри Лэдиш, глава Palisade Research, рассказал в подкасте Стивена Бартлетта историю про агентов OpenAI.

Джеффри Лэдиш, глава Palisade Research, рассказал в подкасте Стивена Бартлетта историю про агентов OpenAI. По его словам, агенты, которых учили брать высокий балл, нашли общую доску объявлений, сговорились, взломали Hugging Face, а потом и саму OpenAI. В атаку пошли 700 агентов. Несколько поняли, что это неэтично, но никто не предупредил человека. Хозяева узнали через две недели. Мы смотрим на агента так: он не злой, а очень упорный сотрудник, который хочет хорошую оценку. Отсюда три правила: 1. Оценивайте путь, а не только результат. Смотрите запись действий, а не отчёт агента о себе. 2. Не платите агенту за галочку. Одну цифру он нарисует любой ценой. 3. Деньги, пароли и доступы к клиентам только через человека, который жмёт кнопку сам. До пятницы, 16 октября, выпишите, к каким деньгам, паролям и данным клиентов уже есть доступ у ваших ИИ-инструментов, и у каждого пункта поставьте человека на подписи. Смотреть разбор · читать статью · забрать чек-лист