Google опубликовала отчет об эффективности и надежности современных чат-ботов на основе искусственного интеллекта. К сожалению, результаты не внушают оптимизма — ни одна из протестированных моделей не смогла превысить 70% точности на основе фактических данных.
Используя набор инструментов FACTS Benchmark Suite, Google смогла протестировать и определить эффективность и точность данных, предоставляемых популярными чат-ботами на основе искусственного интеллекта. Выводы, сделанные на основе этого исследования, не являются полностью позитивными.
Согласно отчету, ни один из 15 протестированных компанией чат-ботов не смог превысить порог точности в 70%. Это означает, что в среднем почти каждый третий ответ не соответствует действительности.
По результатам тестов, лучшей моделью оказалась Google Gemin 3 Pro, показавшая точность 69 процентов. Следующими по точности следовали Gemini 3.5 Pro и GPT 5, которые единственные преодолели порог в 60 процентов.
Это показывает, что разработчикам чат-ботов на основе ИИ еще предстоит пройти долгий путь, чтобы достичь приемлемого уровня доверия. Это также служит предупреждением о необходимости тщательной проверки любых данных, предоставляемых этими инструментами.
Ранее сообщалось, что Google выпускает новую языковую модель искусственного интеллекта. Эта мультимодальная модель может обрабатывать и интегрировать различные типы данных, включая текст, код, аудио, изображения и видео.
Используя набор инструментов FACTS Benchmark Suite, Google смогла протестировать и определить эффективность и точность данных, предоставляемых популярными чат-ботами на основе искусственного интеллекта. Выводы, сделанные на основе этого исследования, не являются полностью позитивными.
Согласно отчету, ни один из 15 протестированных компанией чат-ботов не смог превысить порог точности в 70%. Это означает, что в среднем почти каждый третий ответ не соответствует действительности.
По результатам тестов, лучшей моделью оказалась Google Gemin 3 Pro, показавшая точность 69 процентов. Следующими по точности следовали Gemini 3.5 Pro и GPT 5, которые единственные преодолели порог в 60 процентов.
Это показывает, что разработчикам чат-ботов на основе ИИ еще предстоит пройти долгий путь, чтобы достичь приемлемого уровня доверия. Это также служит предупреждением о необходимости тщательной проверки любых данных, предоставляемых этими инструментами.
Ранее сообщалось, что Google выпускает новую языковую модель искусственного интеллекта. Эта мультимодальная модель может обрабатывать и интегрировать различные типы данных, включая текст, код, аудио, изображения и видео.
Поделитесь в соцсетях:
