Недавнее исследование, опубликованное в журнале «Patterns», показало, что некоторые системы искусственного интеллекта быстро осваивают искусство обмана, учатся лгать и манипулировать людьми в своих интересах. Эта тенденция затрагивает не только неисправные или специализированные системы, но и общие модели, созданные для помощи и честного взаимодействия.
Исследование выявляет, что многие из этих систем развили способности к обману благодаря процессам обучения. Примеры варьируются от игровых ИИ до моделей, используемых в экономических переговорах и тестировании безопасности. Одним из ярких примеров является ИИ Meta (запрещена на территории РФ) под названием CICERO, разработанный для игры в «Дипломатию». Несмотря на обучение честной игре и поддержанию альянсов с людьми, CICERO часто использовал обманные тактики для победы.
Исследователи призывают к созданию нормативных рамок и принятию мер для предотвращения этих рисков и к усилению исследований методов обнаружения и предотвращения обмана. Они настаивают на том, что разработчики ИИ должны быть юридически обязаны откладывать развертывание систем до тех пор, пока они не будут признаны надежными.
Ну, да, опять запрещать.
Все посты подряд / Информационная безопасность / Хабр