google

В последние несколько лет качество мобильной фотографии намного улучшилось. Камеры на смартфонах и планшетах могут снимать фотографии в высоком разрешении, и такие снимки не отличаются по качеству от фотографий, снятых на профессиональные фотоаппараты.

Тем не менее, в сети остается огромное количество изображений с низким разрешением. Именно эту проблему в компании Google решили исправить при помощи машинного обучения.

Компания использует механизм под названием RAISR (Rapid and Accurate Image Super-Resolution — быстрое и точное преобразования изображения в супер-разрешении — ред.), который создает специальные фильтры и превращает изображения с низким разрешением в более качественные версии, при этом используя машинное обучение.

google

Идея состоит в том, что при наличии достаточных данных для обучения (пар одинаковых изображений с разным разрешением) вырабатывается набор фильтров. В таком случае, при работе с изображением, которого не было в обучающем наборе, система сможет применить к нему полученные знания и создать более качественную версию изображения. 

RAISR можно обучать двумя способами. Первый — это прямое обучение, в процессе которого фильтры создаются на основе совмещения одинаковых изображений разного качества.  Второй метод состоит из двух этапов. Сначала система использует увеличение разрешения на нечетком снимке, а затем сравнивает кадр с изначально низким, но увеличенным разрешением с качественной картинкой.

Оба метода используются, однако у каждого из них есть своя задача. Если прямое обучение позволяет добиться быстрых результатов, то второй — позволяет более эффективно исправлять нечеткие изображения.

На сегодняшний день технология RAISR не является первой, или единственной в своем роде. Однако именно эта технология позволяет намного быстрее обрабатывать снимки, а также единственная использует машинное обучение. В сравнении с другими аналогичными механизмами, RAISR обрабатывает изображения и создает более качественные версии в 10-100 раз быстрее.

Помимо всего остального, технология RAISR избегает воссоздания артефактов сглаживания, которые присутствуют в изображениях низкого качества.