По результатам бенчмарка DiBiMT он опередил Google Translate и даже большие языковые модели.
Согласно исследованию международного независимого бенчмарка DiBiMT, Яндекс Переводчик лучше других языковых моделей и онлайн-переводчиков перевёл текст с английского на русский язык. Бенчмарк DiBiMT — это эталонный тест для измерения процента ошибок в машинном переводе. Наряду с Яндекс
Переводчиком тестирование проходили Google Translate и DeepL, а также открытые большие языковые модели: mBART-50, M2M100 и проект OPUS.
Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами — одинаковыми по написанию словами, имеющими разное значение.
Модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведённых слов. Кроме того, правильные варианты выборочно проверяли профессиональные переводчики, а затем на основе этих показателей и был сформирован публичный рейтинг.
Яндекс Переводчик также занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки. Тест показал, что сервис лучше других определяет значение конкретных английских слов в предложениях и допускает меньшее количество семантических ошибок.
