Встречаем новый алгоритм от Яндекса «Королёв»

5 Сентября 2017 1032

22 августа в московском планетарии был презентован новый поисковый алгоритм Яндекса. Алгоритм «Королев» представил Александр Сафронов, специалист поиска.

Новый продукт от Яндекса, основанный на нейронных сетях, призван продвинуться еще дальше в понимании пользовательских запросов. Обучать нейросети Яндекс начал с модели DSSM. Не обошлось без помощи юзеров, каждый день задающих миллионы запросов. Этот массив данных служит базой для составления примеров, на которых «учится» нейронная сеть.

В «Королеве» влияние нейросети на ранжирование возросло. Среди особенностей нового алгоритма – применение нейросетей к тексту документов. Компания внедрила модель, обращающую внимание не только на заголовок, но и на тело страницы при оценке смысловой близости.

Другое нововведение касается того, что нейронные модели обучились учитывать тексты запросов, по которым раньше на эту страницу попадали пользователи. Еще одно изменение связано с количеством страниц: если ранее нейросети использовались для ограниченного числа страниц (порядка 150), то теперь их количество увеличилось до 200 000.

В Яндексе уверены, что машинное обучение, в особенности нейросети, со временем позволит обучить поиск оперировать смыслами аналогично человеческому разуму. Для этого потребуется помощь пользователей поиска – нужно показывать еще больше примеров.

Нужна помощь и Matrixnet, строящему формулу ранжирования. Для развития поиска люди должны непрерывно оценивать его работу. Ранее выставляли оценки сами сотрудники Яндекса, но специалисты поиска решили задействовать в этом процессе пользователей, запустив два года назад сервис «Толока», в котором уже сейчас зарегистрировано более 1 млн юзеров.

Толокеры анализируют качество поиска и способствуют улучшению других сервисов Яндекса. Это возмездная помощь. За время работы сервиса пользователи выставили приблизительно 2 млрд оценок.

По признанию команды Яндекса, новый поиск стал плодом совместной работы обычных пользователей и инженеров компании.

← Вернуться к новостям