Страница 1 из 1

Инженер Facebook рассказал о работе поиска по постам

СообщениеДобавлено: 27 окт 2013, 15:29
plus223
Инженер команды поиска Facebook Ашот Тевосян (Ashoat Tevosyan) рассказал о работе новой функции Facebook Graph Search – поиска по постам, чекинам, комментариям и статусам. По словам Тевосяна, работа над функцией длилась в течение двух лет и потребовала разработки каталога для 1 миллиарда новых постов, публикуемых на страницах соцсети ежедневно. На данный момент в индексе системы находится более 1 триллиона постов, которые занимают сотни терабайт.

Концепция, которая лежит в основе поиска, является продуктом одного из совместных внутренних проектов, разработанных для поиска старых постов друзей. Для поиска нужного контента Facebook анализирует более 70 различных характеристик, специфичных для разных типов публикаций. Индекс поиска построен при помощи HBase кластера, Hadoop jobs и Unicorn – поисковой инфраструктуры Facebook. Для обновления индекса используется отдельная программа - Wormhole.