Инструмент называется Giant Language Model Test Room (GLTR), он тестирует тексты на предсказуемость. Программа не полагается на знание языка, она ищет закономерности в структуре предложений. Любой ИИ создаёт тексты на основе алгоритма. Фактически GLTR определяет этот алгоритм и показывает, что человек не мог структурировать текст таким образом.
Алгоритм подсвечивает самые предсказуемые слова зелёным, менее предсказуемые — жёлтым и красным, непредсказуемые — фиолетовым.
Разработчики протестировали алгоритм с помощью студентов Гарвардского университета. Их попросили определить, какие тексты написаны машиной. Самостоятельно студенты находили примерно половину текстов, а при помощи GLMTR было верно определено 72%.
Алгоритм можно протестировать самостоятельно. Научная работа с подробным описанием метода опубликована в журнале Computer Science.
Поделитесь в соцсетях: