Новый алгоритм Google создает оригинальный контент, компилируя контент из других источников

25 Мая 2018 863

Google опубликовал статью, освещающую новый алгоритм, способный брать контент разных сайтов и на его основе создавать «логические согласованные» статьи. Генерируя оригинальный контент, «гугловский» алгоритм может давать ответы на вопросы юзеров, не перенаправляя их на другие ресурсы.

Принцип работы нового алгоритма

Шаг первый – новый алгоритм компилирует содержимое разных источников: вычленяет контент сайта, далее отсекает нерелевантные части, наподобие алгоритмов, используемых для создания готовых ответов (featured snippets).

Результаты, которые генерируются посредством этого алгоритма, в публикации обозначены, как «извлекаемые сводки» (Extractive Summaries), так как они состоят из контента, извлеченного из страниц сайтов. По своей сути эти сводки – выборка наиболее важных тезисов, которые помогают ответить на вопрос пользователя.

На следующем этапе новый алгоритм использует еще один вид алгоритма, Abstractive Summary, который является формой перефразирования. Отрицательный момент искусственного перефразирования заключается в том, что почти третья часть таких сводок содержит дезинформацию.

Согласно опубликованной статье, специалисты Google придумали, как объединить преимущества обоих подходов. Они применяют Extractive Summaries, чтобы извлечь наиболее важные факты из текстов, а затем используют Abstractive Summary для перефразирования этого контента. Как итог – новый веб-документ, берущий за основу информацию, найденную в Сети. Таким образом компания создает свою версию Википедии.

Featured Snippets – это первый шаг

Готовые ответы являются примером Extractive Summarization, описанного выше. Описываемый двухфазный алгоритм может быть применен для книг, любых публичных web-страниц, открытых баз данных.

В исследовании Google в качестве поисковых запросов брались темы из Википедии, а источником «извлекаемых сводок» служили результаты поиска Google. Алгоритм перефразировал эти тексты для создания абсолютно новых статей. Алгоритм также проводил параллельный тест, генерируя еще один набор статей, используя лишь ссылки, которые упоминаются Википедией.

Итоги эксперимента

Подытоживая, авторы статьи отмечают успешность эксперимента. Американский поисковой гигант может создавать оригинальный контент путем компиляции содержимого страниц сайтов, тем самым давая ответы на вопросы юзеров без необходимости перенаправлять их на другие ресурсы.

Как скоро Google реализует этот алгоритм, пока не известно.

← Вернуться к новостям