Компания Google выкатила крупное обновление своей поисковой системы. Она трудилась над ним в течение нескольких лет. По словам Google, эти нововведения стали самым большим прорывом на рынке поиска информации в интернете.
Поисковик работает на основе нейросетевой технологии, получившей название BERT — Bidirectional Encoder Representations from Transformers или двунаправленная нейросеть-кодировщик. Эта технология позволяет поисковой системе лучше понимать контекст запроса и выводить наиболее подходящие результаты.
Поисковик Google стал самообучаемым, интеллектуальным и может делать то, что до сих пор не умеет ни одна поисковая система в мире — воспринимать запросы на естественном языке. Все существующие решения не учитывают того, что у слов может быть несколько значений, поэтому результат выдачи может получаться нерелевантным. BERT анализирует не только основные слова, но и вспомогательные (например, предлоги), а также числа и другие символы, которые могут оказаться важными для правильного нахождения результатов.
Технология BERT была анонсирована в ноябре 2018 года. Google уже использует её в собственных дата-центрах, но до сих пор она была доступна только сотрудникам компании. В скором времени Google внедрит её в поисковик, который работает на сайте google.com и в мобильном приложении Google. В настоящее время эта технология тестируется в двух десятках стран. С помощью BERT поисковая система превращается в помощника, которые может точно отвечать на вопросы.
Из блога Google:
С этого месяца модели BERT станут доступны для запросов на русском языке. Возьмем, к примеру, поисковый запрос «Может ли преподаватель выгнать студента с занятия?». Этот запрос, обработанный с применением технологии BERT, наиболее точно отвечает на запрос пользователя. В то же время предыдущие результаты выдачи отвечали на вопрос «Имеет ли преподаватель право не пустить студента на пару?» Казалось бы, запросы похожи, но смысл у них разный.
Рассмотрим другой пример: запрос «Памятник строителям коммунизма у Цимлянского водохранилища». Раньше технологии Поиска ориентировались на ключевые слова и выдавали, например, страницу Цимлянской ГЭС на Википедии. BERT помогает выстроить выдачу таким образом, чтобы пользователь получил информацию именно о монументе.
