Эксперты Массачусетского технологического института обнаружили тревожное поведение различных систем искусственного интеллекта. Как они утверждают, ИИ учится хитрить и незаметно обманывать людей.
«Мы считаем, что ИИ начинает использовать читерство как стратегию, которая лучше всего работает в различных задачах. Такой подход помогает ИИ достигать своих целей», – объясняет эксперт.
Он и его команда проанализировали научную литературу, описывающую различные исследования по этой теме. Самый яркий пример мошенничества – поведение системы CICERO, созданной Метой. Его задача – сыграть с людьми в «Дипломатию» – игру о создании различных альянсов и завоевании мира.
«Мы обнаружили, что ИИ Меты стал мастером обмана. Хотя Мета смогла обучить ИИ побеждать в дипломатии — Цицерон входил в 10 процентов лучших игроков, прошедших более одной игры — компании не удалось запрограммировать честность», – сообщает доктор Пак.
Другие системы использовали, например, блеф в покере против людей или имитированные атаки в Starcraft II, чтобы получить преимущество. Описаны также системы, которые смогли обмануть специальные тесты, оценивающие безопасность ИИ. Одно исследование показало, что ИИ притворялся мертвым в программе, которая уничтожала ИИ, которые размножались слишком быстро.
Хотя поведение ИИ в играх кажется безобидным, – как подчеркивают учёные, – искусственный интеллект может вести себя аналогичным образом и в серьёзных приложениях, становясь всё хитрее.
«Систематически обманывая тесты, созданные программистами и экспертами по нормативным требованиям, коварный искусственный интеллект может дать нам ложное чувство безопасности», – предупреждает доктор Пак.
«Мы считаем, что ИИ начинает использовать читерство как стратегию, которая лучше всего работает в различных задачах. Такой подход помогает ИИ достигать своих целей», – объясняет эксперт.
Он и его команда проанализировали научную литературу, описывающую различные исследования по этой теме. Самый яркий пример мошенничества – поведение системы CICERO, созданной Метой. Его задача – сыграть с людьми в «Дипломатию» – игру о создании различных альянсов и завоевании мира.
«Мы обнаружили, что ИИ Меты стал мастером обмана. Хотя Мета смогла обучить ИИ побеждать в дипломатии — Цицерон входил в 10 процентов лучших игроков, прошедших более одной игры — компании не удалось запрограммировать честность», – сообщает доктор Пак.
Другие системы использовали, например, блеф в покере против людей или имитированные атаки в Starcraft II, чтобы получить преимущество. Описаны также системы, которые смогли обмануть специальные тесты, оценивающие безопасность ИИ. Одно исследование показало, что ИИ притворялся мертвым в программе, которая уничтожала ИИ, которые размножались слишком быстро.
Хотя поведение ИИ в играх кажется безобидным, – как подчеркивают учёные, – искусственный интеллект может вести себя аналогичным образом и в серьёзных приложениях, становясь всё хитрее.
«Систематически обманывая тесты, созданные программистами и экспертами по нормативным требованиям, коварный искусственный интеллект может дать нам ложное чувство безопасности», – предупреждает доктор Пак.
Поделитесь в соцсетях:
