«Яндекс» запустил работающую на базе нейросетей технологию перевода текста на фотографиях и картинках. Эта технология поможет, например, в поездке, если нужно быстро перевести меню в ресторане, или в работе, чтобы разобраться в нюансах технической документации на иностранном языке. «Яндекс» также улучшил визуализацию перевода — текст теперь легче читается и больше похож на оригинальную вёрстку. Обновление уже доступно в «Переводчике» и «Браузере», а позже появится и в «Умной камере».
Чтобы пользователю было удобно читать перевод текста на картинках, «Яндекс» улучшил его визуализацию для нескольких десятков языков. Технология стирает оригинальный текст с изображения и располагает переведённый поверх него: алгоритмы подбирают шрифт, размер и цвет букв, а также убирают различные артефакты таким образом, чтобы переведённые изображения выглядели наиболее естественно. Кроме того, текст получается контрастным, за счёт чего его читать даже легче, чем оригинал. Технология распознаёт переносы слов и может понять их значение, даже если в кадр попала только часть. Для перевода текста на изображениях разработчики «Яндекса» создали отдельную модель семейства YandexGPT, адаптированную под задачи перевода с английского на русский. Её обучали на множестве пар оригинальных и переведённых текстов. Модели показывали примеры качественных и плохих переводов, чтобы она училась подражать эталонным, избегала ошибок и не добавляла в свои тексты несуществующие детали.
Подписаться на iGuides в Telegram, чтобы узнать обо всем первым
