» » Доклад Яндекса о механизмах обнаружения ботов
Категории

Опрос

Какая поисковая система на ваш взгляд лучшая?
Результаты   Все опросы
Теги
Доклад Яндекса о механизмах обнаружения ботов
Руководитель группы веб-поиска Яндекса Кирилл Николаев на неделе байнета в Минске прочитал доклад, который рассказывает об основных принципах работы алгоритмов Яндекса. Как раз в это время Яндекс отключал учет ссылок в коммерческих запросах, так что доклад о ботах пришелся как нельзя кстати.
По словам Кирилла, Яндекс надежно защищен от ботов благодаря трем системам очистки.
Первая: капча.
Через капчу проходит 200 млн. запросов в сутки, и системы обнаруживают по 30-40 млн. запросов от ботов каждый день. Таких ботов в Яндексе не слишком уважают и делят на три группы:
Процент показывает, какую часть ботов каждого типа можно "выщемить" при помощи капчи. При этом, Кирилл сообщил, что Яндекс старается сделать капчу более удобной для людей и менее удобной для роботов. Вот так безуспешно пытаются разгадывать местную капчу пакистанские боты:
Вторая: легкая очистка.

Эта система используется в персонализированных сервисах и ограничивает reverse engineering. По какой-то причине представитель Яндекса не захотел останавливаться на этой системе, поэтому про нее практически ничего не известно.

Третья: глубокая очистка.

Алгоритм глубокой очистки включает около 2000 факторов и около 200 функций очистки. Система служит для того, чтобы как можно точнее смоделировать действия живого пользователя. Самыми сложными Яндекс признает ботов, хозяева которых стараются сделать свои творения похожими на человека. Алгоритм на алгоритм, так сказать. Но в итоге подобных существ тоже обнаруживают по запросам, которые человек никогда не сделает:
Данные о всех обнаруженных ботах складируются на сервера Яндекса, и, если какой-либо сайт будет замечен в ботоводстве, он попадает под санкции. Пенальти действует около года.
по информации Пр-СИ. Ру
Добавил admin 27-09-2017, 23:04 Просмотров: 805
Добавить комментарий
Ваше Имя:
Ваш E-Mail:
Полужирный Наклонный текст Подчёркнутый текст Зачёркнутый текст | Выравнивание по левому краю По центру Выравнивание по правому краю | Вставка смайликов Вставка ссылкиВставка защищённой ссылки Выбор цвета | Скрытый текст Вставка цитаты Преобразовать выбранный текст из транслитерации в кириллицу Вставка спойлера
Код:
Кликните на изображение чтобы обновить код, если он неразборчив
Введите код: