Сколько раз вы были свидетелями судейства на хакатонах, которое, на первый взгляд, казалось неверным? Думаем, таких случаев было много.
Сегодня мы- Анна Тищенко и Минко Богдан участники AI Security Lab из магистратуры Talent Hub, посмотрим на результаты AI Product Hack и постараемся разобраться в том, кто после присуждения мест оказался прав: раздосадованные поражением участники команд или судьи.
В частности мы будем рассматривать кейс компании Raft — “Мониторинг токсичного контента в AI-продуктах”.
Первый справедливый вопрос, почему токсичный контент? Все просто. Для тебя, дорогой читатель, не секрет, что LLM на пике популярности. И когда ты захочешь внедрить умного ассистента или RAG систему в прод, тебе вряд ли будет приятно увидеть галлюцинирующие ответы модели, представляющие потенциальную опасность. Например, представим команду интеграции LLM пайплайнов которые сидят у себя в кабинете и радуются тому, что смог сэкономить после замены кучи операторов поддержки одним чат ботом. Но вдруг, внезапно оказывается, что на любую блажь приходят недоброжелатели, которым не терпится послать 100500 атак на бота, содержащих джейлбрейки, промпт-инъекции и пр. После этого никто уже не радуется, ведь его инновационное решение продает товары за минимальную стоимость, сливает пользователям конфиденциальную информацию, ведет себя как гигачад с форчана и выдает опасные инструкции. Все это ведет к огромным финансовым потерям и опускает рейтинг доверия к компании в самый низ.
Все статьи подряд / Информационная безопасность / Хабр