Новый поисковый алгоритм яндекса. Как работает новый алгоритм «Королёв». Большой входной слой

Вчера Яндекс на своей презентации официально объявил о запуске нового алгоритма «Королёв».

Рассказываю как это происходило и что нового дал нам новый алгоритм Яндекса.

Вот самая трансляция данной презентации:

Я не буду мусолить весь этот пафос который был не презентации и скажу суть:

1. Алгоритм «Королёв» запустили не вчера, а эдак 2-6 месяцев назад . Я думаю всем понятно, чтобы вот взять и запустить за секунду новый алгоритм невозможно.

Т.е. новый алгоритм Яндекса действует давно, просто всё это время шло его тестирование и отладка.

2. Это вовсе не новый алгоритм. Вовсе нет. Это алгоритм Палех в котором просто сделали возможность сравнения не 150, а 2000 результатов.

Ну, а а конкретно о различии Королёва и Палеха нам официально всё разъяснил сотрудник Яндекса:

По сути ничего не поменялось. Был просто пафос Яндекса и больше ничего.

Если говорить честно, то никакого нового алгоритма нет. Просто нет и всё. Даже поиск по органике остался прежним.

Если был бы внедрён новый алгоритм, но мы бы увидели колебания по трафику. Но этих колебаний нет.

Да, впринципе и искать то нечего.

Вот так выглядит в настоящее время выдача Яндекса:

А что собственно вы ищите своим поиском?!

Сверху 4 позиции Директа + 5-я позиция Маркет, потом 4 позиции Директа снизу, справа Яндекс.Маркет + Яндекс.Баян.

Что то тут искать?

Какой к хуям алгоритм ранжирования сайтов? Что тут ранжировать?

Я даже нарисовал новый логотип Яндекса:

А Королёв тут причём? Вам до Королёва как до Луны. Подмазались под великого человека.

Я вообще не понимаю, что произошло. Было обычный пафос Яндекса и всё. Никакого глобального изменения в алгоритме ранжирования сайтов нет.

Теперь пройдёмся по самой презентации этого алгоритма.

За месяц до презентации Яндекс объявил, что вы можете подать заявку, чтобы вживую в планетарии посмотреть эту презентацию.

Я лично заполнял заявку. Да и много кто заполнял. И всем нам пришёл отказ.

Всё на самом деле оказалось проще:

Просто собрали своих сотрудников, родственников, знакомых, подруг и знакомых своих знакомых.

Зачем вообще мы подавали на что то заявки?! Ну теперь понятно кого вы набираете на работу в Яндекс.

Но по видимому набрали слишком много знакомых и многие из них тупо спали:

Вот это человек пришёл на место Саши Садовского:

«Королев» — это не Минусинск, не Баден-Баден. Это не карательный фильтр. Он, кстати, не является надстройкой — является частью основного алгоритма Яндекса.

«Королев» работает на основе самообучаемой нейронной сети и затрагивает довольно редкие многословные запросы, в первую очередь информационные, которые направлены на уточнение смысла — низкочастотные (НЧ) и микроНЧ, в том числе голосовой поиск, разные естественные варианты запросов, типа «фильм, где мужик в разных ботинках».

Создан этот алгоритм был с целью улучшить качество выдачи по таким запросам, по аналогу с RankBrain Гугла, который давно с такой задачей хорошо справляется, да и сейчас, по первым замерам, работает по таким запросам лучше Яндекса.

До этого был и есть алгоритм «Палех», который уже начал искать по смыслу, но делал это в реальном времени и сопоставлял только смысл запроса и заголовка — Title страницы.

«Королев» анализирует не только Title, но и всю страницу в целом, показывает в выдачу даже те страницы, где нет упоминания слов из запроса, но по смыслу страница подходит. При этом он определяет суть страницы заранее, на этапе индексирования — в результате скорость и количество обрабатываемых страниц мощно увеличились.

Про «треть» тут может быть преувеличено — реальной доли запросов, которые затронет «Королев», пока еще никто не измерял.

Другие статьи про «Королев»:

Я много моментов тут еще не расписывала, про них стоит почитать в других статьях. Я выбрала тут только самые лучшие, действительно стоящие:

Мнения разных экспертов:

Дополнительные официальные источники:

Некоторые отрывки из мнений по ссылкам выше:

Дмитрий Шахов

«Королев» пройдет мимо поисковой оптимизации. По крайней мере, на данном этапе. Перед поиском стоит задача дать ответы по запросам, по которым нет документов с вхождениями. Поиск эту задачу решает. Hummingbird в Google, «Палех» и «Королев» в Яндексе. Запросы, по которым нет документов, не входят в зону интереса поисковой оптимизации. Именно поэтому там и нет документов.

Артур Латыпов

Многие ждали, что вскоре после «Палеха» появится алгоритм, который будет работать аналогично, но не по заголовкам, а по контенту. Пока не заметили скачков трафика на наблюдаемых сайтах, будем наблюдать внимательней и смотреть на развитие алгоритма в будущем. Интересно, раньше для улучшения ранжирования по большому количеству запросов, в том числе смежных, готовили SEO-тексты, они были у кого-то лучше, у кого-то хуже, кто-то их называл по-другому, но смысл от этого не менялся. Теперь за SEO тексты наказывают, а поиск будет ранжировать документы по смыслу.
Ожидаем, что в работе оптимизаторы будут больше использовать LSI при подготовке текстовой оптимизации.

Соответственно, будут развиваться SEO-сервисы. Напомню, что подготовка списка SEO-слов, терминов в тематике, смежных запросов для подготовки контента и оптимизации, используется специалистами уже несколько лет. Поэтому серьезных изменений в механике не произойдет, по крайней мере пока.

В итоге, больше внимания уделяем:

Качеству контента;
интенту запроса;
мониторингу выдачи.

И, конечно, всегда интересно после запуска нового алгоритма от Яндекса анализировать, что изменилось, и наблюдать, что будет дальше.

Дмитрий Севальнев

Фактически, с внедрением ряда новых факторов, которые учитывают:

смысловое соответствия пары запрос-документ (по всему тексту документа, а не только по Title, как ранее в алгоритме «Палех»),
качество ответа документа на схожие по смыслу поисковые запросы, –

не будет глобальных изменений для SEO-индустрии. Наиболее значимые изменения коснутся «длинного хвоста» запросов, под которые целенаправленно SEO-специалисты мало работают. Их много, они редкие и часто обеспечивают единичные заходы на сайт.

Может быть увеличена значимость ряда факторов, которые и так прорабатываются специалистами, с того момента как LSI стал «модной темой».

Олег Шестаков, CTO & Founder в Rush Analytics Russia

Анонс алгоритма «Королев» был, наверное, самым масштабным за все время с точки зрения шоу. С точки зрения технологий нельзя сказать, что это какой-то новый технологический прорыв. В чем смысл инновации: теперь нейронные сети Яндекса оценивают соответствие запрос-документ не просто с точки зрения вхождения запроса и его вариаций (леммы, частей запроса и т.д.) в текст документа, но и с точки зрения смысла запроса. Нейронная сеть, обученная на больших данных, теперь умеет определять релевантность документа запросу, даже если в документе нет вхождения слов запроса. На самом деле – это не новая технология – она же использовалась в алгоритме «Палех», правда он учитывал лишь заголовки документов. Т.е. настоящая инновация здесь в том, что инженеры Яндекса сумели масштабировать очень ресурсоемкий алгоритм на несколько порядков – теперь алгоритм может оценивать сотни тысяч документов, а не 150 строк текста как раньше.

Как алгоритм повлияет на рынок SEO?

— Глобально – никак. Это всего лишь часть алгоритма, а большинство других факторов как работали, так и будут работать. Данный алгоритм сильнее всего должен затронуть НЧ-запросы и часть СЧ-запросов.

— Придется уделять больше внимания качеству текстов. Теперь, чтобы вывести страницу в ТОП, текст страницы должен содержать как можно больше слов-синонимов и связанных с запросом слов, чтобы пройти по факторам нового алгоритма, т.к. он теперь учитывает именно такие слова, а не просто «прямые вхождения». Здесь нет никакой магии – нейросеть обучается учителями-асессорами и все равно работает с текстами реальных сайтов, находя связанные по смыслу слова. Значит можно провести похожий анализ и сделать экстракцию этих слова их документов ТОПа. Грамотные SEO-специалисты начали это делать уже несколько лет назад. Если простыми словами – тот же LSI, только в профиль.

— Рынок дешевого копирайтинга начнет схлопываться, и это очень хорошо. Задание на написание текста в формате «3 прямых вхождения, 4 разбавленных и длина 2500 символов» будет порождать тексты, которые будут слабо ранжироваться.

Теперь нужны тексты-истории. Мы как SEO-специалисты должны рассказать историю про продукт клиента во всех подробностях, описав продукт со всех сторон – при таком подходе будет физически сложно упустить важные тематичные запросу слова. Заметьте, что вебмастера, зарабатывающие на статейных сайтах, уже очень давно пишут тексты-истории даже о юристах по алиментам, с отличной версткой, раскрытием темы и points of interest. Что в результате? У них куча трафика и ТОПы, плюс тотальная победа над сухими сайтами юридических фирм.

Производство контента станет несколько дороже и профессиональнее. SEO-компании либо перестанут писать SEO-бред и построят взрослые контент-редакции внутри, или их клиенты потеряют позиции в поиске. Яндекса вчера толсто на это намекнул.

Александр Алаев

«Королев» со всем не про SEO. Цель SEO – работа с запросами, которые спрашивают много раз и смысл их понятен, а релевантных ответов тысячи. Задача поисковика в коммерческом сегменте – найти лучших кандидатов по коммерческим критериям, а не искать смыслы. Именно поэтому коммерческая выдача не изменится, по крайней мере сколько-либо заметно.

А вот владельцам информационных ресурсов еще раз стоит обратить внимание на качество контента, ориентировать свои публикации не под поисковые запросы, а под интересы пользователей, писать человеческим простым языком.

Все мои проекты, кроме этого SEO-блога:

ТОП База - качественная база для полуавтоматической регистрации с Allsubmitter или для полностью ручного размещения - для самостоятельного бесплатного продвижения любого сайта, привлечения целевых посетителей на сайт, поднятия продаж, естественного разбавления ссылочного профиля. Базу собираю и обновляю 10 лет. Есть все виды сайтов, все тематики и регионы.

SEO-Topshop - SEO-софт со СКИДКАМИ, по выгодным условиям, новости SEO-сервисов, баз, руководств. Включая Xrumer по самым выгодным условиям и с бесплатным обучением, Zennoposter, Zebroid и разные другие.

Мои бесплатные комплексные курсы по SEO - 20 подробных уроков в формате PDF.
- каталоги сайтов, статей, пресс-релизовые сайты, доски объявлений, каталоги фирм, форумы, соцсети, блоговые системы и прочее.

"Приближаясь.." - мой блог на тему саморазвития, психологии, отношений, личной эффективности

Сайта, выясняет наличие в составе контента ключевой фразы, принимает решение о том, насколько сайт соответствует запросу пользователя, и в зависимости от степени соответствия присваивает сайту ту или иную позицию в выдаче – выше или ниже. Для каждой поисковой системы разрабатываются свои алгоритмы. Схемы работы всех алгоритмов поисковых систем построены на схожих принципах. Например, все поисковики обязательно оценивают уникальность контента. Отличаются же алгоритмы поисковых систем некоторыми другими инструментами анализа.

Описание

На первоначальной стадии развития сети Интернет поисковым системам для нахождения необходимой пользователю информации достаточно было анализировать лишь самые основные параметры содержания страниц: наличие заголовков, ключевые фразы, объём текста и т. д. Однако с появлением оптимизации и многочисленных способов спама поисковые системы были вынуждены усложнить свои алгоритмы в целях распознавания и отсеивания сайтов, в отношении которых применялись подобные методы, что превратило их развитие в ответные действия на появление всё новых способов продвижения.

Механизмы поисковых алгоритмов являются засекреченной информацией. Никто, кроме разработчиков поисковых систем, точно не знает, что именно учитывают алгоритмы и на какие факторы они обращают внимание. Вся информация об их работе, появляющаяся в сети Интернет, в большинстве случаев представляет собой личные выводы оптимизаторов , основанные на практических наблюдениях за продвигаемыми сайтами.

Так, некоторые системы при выдаче сайтов в поисковых результатах способны анализировать информацию не только о частоте ключевых слов, но и о наиболее популярных страницах и затрачиваемом пользователем времени на их просмотр. Чем оно больше, тем выше вероятность того, что на сайте размещена действительно качественная информация. Другой подход подразумевает определение количества ссылок и вычисление авторитетного веса площадки. Это такие показатели, как ТИЦ , и другие, механизм определения которых также является ещё одним алгоритмом работы поисковых систем. Количество параметров, учитываемых поисковыми алгоритмами, может достигать нескольких сотен. К примеру, система «Google» при ранжировании сайтов обращает внимание на более чем 200 факторов.

Алгоритмы поисковой системы Google

История алгоритмов поисковой системы Google началась с введения в поисковый механизм индекса цитирования, заключающегося в ранжировании страниц и сайтов в зависимости от количества и авторитетного веса ссылок (PageRank), ведущих на них с других ресурсов. Таким образом сеть Интернет превратилась в подобие коллективного разума, который и определял релевантность сайтов. Подобная концепция оказалось удачным нововведением, благодаря которому Google и стала наиболее популярной системой.

На ранних этапах алгоритмы Google уделяли внимание лишь внутренним атрибутам страницы. Позже стали учитываться такие факторы, как свежесть информации и географическая принадлежность. В 2000 г. начал использоваться алгоритм Hilltop, предложенный Кришной Бхаратом, для более точного расчёта PageRank. В 2001 г. первоначальный механизм действия системы был полностью переписан. С этого момента Google стала разделять коммерческие и некоммерческие страницы. В этом же году был введён коэффициент, который добавлял ссылкам, ведущим с авторитетных сайтов, больший вес.

Первым по-настоящему сложным барьером для специалистов SEO стал алгоритм «Флорида», введённый Google в 2003 г. Он не только поставил под сомнение целесообразность использования распространённых на тот момент способов продвижения, но и существенно проредил позиции поисковой выдачи, исключив из неё страницы с повторяющимся анкором и переспамленные ключевыми словами.

В 2006 г. система стала использовать разработку израильского студента Ори Алона – алгоритм «Орион», улучшающий поиск благодаря отображению наиболее релевантных результатов и принимающий во внимание качество индексируемых сайтов.

В 2007 г. компания Google внедрила ещё одну систему фильтров и штрафных санкций – алгоритм «Austin». Многие из страниц, занимавших до его введения первые места в рейтинге, понизились на несколько позиций и не поднимались выше шестого места.

В 2009 г. был анонсирован алгоритм «Caffeine», выступивший в качестве ещё одного серьёзного улучшения инфраструктуры «Google». С этого момента система стала не только индексировать больше страниц, но и значительно быстрее производить поиск.

Алгоритмы поисковой системы Яндекса

В отличие от Google, поисковая система Яндекс раскрывает намного больше данных о своих алгоритмах, с помощью которых выстраивается картина выдачи.

С лета 2007 года компания Яндекс начала сообщать широкой публике (прежде всего, на форуме searchengines.ru и в своём блоге для вебмастеров) об изменениях в своих механизмах ранжирования. До этого момента изменения активно не афишировались и новые алгоритмы не получали названий.

Первым «названным» алгоритмом стал “8 SP1”. Но вскоре Яндекс начал, как иногда говорят, «игру в города» - каждое последующее изменение поискового алгоритма получало название города (в основном, российского). И началось всё с «Магадана».

Алгоритм «Магадан»

• число факторов, влияющих на ранжирование сайта, увеличено вдвое
• появились классификаторы для содержимого сайта и ссылок
• улучшен геоклассификатор
• увеличена скорость поиска по запросам, по которым Яндекс находит наибольшее число документов
• увеличено «понимаемое» системой расстояние между словами поискового запроса
• появилось распознавание аббревиатур, обработка транслитерации (в том числе и в URL документа)
• улучшен перевод простых популярных слов: поисковик понимает, что computer=компьютер и т.п.
• появилась обработка запросов с дореволюционной орфографией (содержащих буквы ѣ и т.д.)
• улучшен поиск по большим многословным запросам.

Кроме того, Яндекс начал индексацию зарубежных сайтов, что привело к увеличению конкуренции по запросам, содержащим иностранные слова. Также были улучшены т.н. «колдунщики» Яндекса. Например, прогноз погоды можно теперь узнать прямо в поисковой выдаче.

Уже летом 2008 года был внесён ряд изменений в данный алгоритм: исправлены некоторые ошибки из первого релиза, а также добавлены новые факторы ранжирования сайтов (например, учёт уникальности контента).

Алгоритм «Находка»

В сентябре 2008 года появился алгоритм «Находка», вызвавший изменения в способе учёта факторов ранжирования.

Среди основных изменений:

• улучшение ранжирования по запросам, содержащим минус-слова
• разработка нового подхода к машинному обучению
• расширение словарей Яндекса, особенно для слитного/раздельного написания запросов (теперь алгоритмы понимают, что “трубо провод” = “трубопровод”)
• появление фильтров за «неожиданный» редирект пользователя на другой сайт (характерно для дорвеев)

Также было замечено, что по некоторым запросам в поисковой выдаче Яндекса стали появляться старые информационные сайты, в частности, Википедия. В связи с чем оптимизаторами сделаны выводы, что возраст домена и сайта играют роль в продвижении.

Алгоритм «Арзамас»

10 апреля 2009 года заработал поисковый алгоритм Яндекса под названием «Арзамас», или «Анадырь».

Можно сказать, что изменения, произошедшие с данного момента, оказали наиболее существенное влияние на характер выдачи, чем все изменения, происходившие ранее.

Нововведения, связанные с его появлением, серьёзным образом отразились на продвижении сайтов. Молодым сайтам стало ещё сложнее пробиваться на первые позиции и наращивать ссылочную массу.

Основные изменения:

• выделено 19 географических регионов, выдача в которых могла отличаться по одним и тем же запросам
• как следствие: сайту присваивается региональная принадлежность (или её отсутствие); определяется она по IP-адресу сервера, контенту сайта и по его описанию в Яндекс.Каталоге
• дальнейшее улучшение обработки многословных запросов
• при выводе подсказок об опечатках в запросе учитываются настройки языка браузера пользователя
• появление фильтров, ухудшающих ранжирование страниц с агрессивными форматами рекламы: сначала popunder, а затем и clickunder (bodyclick)

Однако самым важным нововведением стал учёт региональности сайтов и геозависимости запросов.

Теперь запросы пользователя делятся на геозависимые и геонезависимые. Регион пользователя определяется по его IP-адресу и если для его запроса в индексе Яндекса имеются региональные сайты, то начинает действовать региональная формула ранжирования.

В связи с этим продвижение сайта по конкретному региону упростилось.

Алгоритм «Снежинск»

В ноябре 2009 года поисковая система Яндекс анонсировала свой новый алгоритм «Снежинск». Его главной особенностью является внедрение новой технологии машинного обучения, названной разработчиками «Матрикснет» (“MatrixNET”).

Характеристики данного алгоритма:

• количество факторов ранжировании документа увеличено в несколько раз
• ухудшено ранжирование страниц с особо длинными текстами, насыщенными ключевыми словами («тексты-портянки»)
• появление т.н. фильтров АГС (АГС 17 и АГС 30)
• увеличение количества региональных факторов, учитываемых при ранжировании
• улучшена идентификация страницы-первоисточника контента; сайты, ворующие контент с других сайтов, ранжируются значительно хуже

С появлением технологии MatrixNET продвижение сайтов стало менее подконтрольным оптимизаторам. Теперь нельзя обойтись одной покупкой ссылок или нужной плотностью ключевых слов на странице.

Яндекс при помощи новой системы связал огромное количество факторов и показателей сайтов, что в итоге сделало ранжирование максимально релевантным оценкам асессоров.

Теперь асессоры «отдают» свои оценки относительно сайта системе MatrixNET, которая осуществляет периодическое самообучение.

Из-за того, что целью алгоритма является вывод в ТОП наиболее полезных для пользователя документов, Яндекс сделал поисковое продвижение процессом более творческим.

Алгоритм «Конаково»

Уже через месяц после «Снежинска» появился новый алгоритм «Конаково» (декабрь 2009), целью которого являлось усовершенствование предыдущего алгоритма.

А также было улучшено региональное ранжирование: своя формула ранжирования применяется теперь не только к 19 регионам, но ещё и к 1250 городам России.

Кроме того, появились новые операторы для поисковых запросов: *, / и другие. К примеру, поиск с учётом пропущенного в запросе слова выглядит так: “слово1 * слово3”.

Алгоритм «Обнинск»

В сентябре 2010 года у Яндекса появился новый алгоритм «Обнинск». Его особенности:

• улучшено ранжирование по геонезависимым запросам пользователей из России
• расширена формула ранжирования; её объём достигает теперь 280 Мб.
• улучшено определение автора контента
• повышено качество ответов на запросы, заданные латиницей и транслитом (произошло расширение словаря транслитерации)
• снижено влияние искусственных ссылок (т.н. SEO-ссылок) на ранжирование

Для данного периода характерно усиление «борьбы» Яндекса с документами, продвигаемыми некачественными покупными ссылками.

Кроме того, улучшен интерфейс просмотра кэшированной копии веб-страницы – теперь можно узнать дату её последней индексации.

Алгоритм «Краснодар»

Этот алгоритм Яндекса вышел в свет в декабре 2010 года. Главным в этом алгоритме стало введение технологии «Спектр».

Отличительной чертой данной технологии стало т.н. «разбавление выдачи» по общим запросам (всего порядка 60 категорий запросов – города, товары и т.п.). 60 категорий было на момент релиза, было запланировано увеличить их количество

Если пользователь не достаточно конкретизировал свой запрос, то Яндекс постарается выводить ему сайты в соответствии с этими категориями.

Основные особенности «Краснодара»:

• классификация поисковых запросов и выделение из них ключевых объектов (имена, названия, модели)
• присваивание запросам категорий
• улучшение ранжирования по геозависимым запросам

Алгоритм «Рейкьявик»

Появился в августе 2011 года. Данный алгоритм Яндекса ещё называют первым шагом в направлении персонализации поиска: т.е. каждому пользователю – свои результаты выдачи.

А точнее - произошла языковая персонализация поиска.

Если пользователю по англоязычным запросам нужны иностранные сайты – они и будут показаны. Если же алгоритм решит, что пользователь всё-таки ищет русскоязычный контент, то будут показаны соответствующие сайты.

Некоторые другие особенности:

• улучшен математический колдунщик: теперь арифметические задачи можно решать прямо в поиске Яндекса; также и некоторые другие колдунщики
• улучшен показ поисковых подсказок для новостных запросов: обновление подсказок происходит в течение часа.

Кроме того, в это время началось альфа-тестирование партнерской программы «Оригинальные тексты», с помощью которой владелец контента может сообщить Яндексу о своём авторстве на данный контент.

Алгоритм «Калининград»

В начале декабря 2012 года появился алгоритм «Калининград», который ввёл глобальную персонализацию поиска. Теперь результаты поиска подстраиваются под интересы пользователя.

Данные интересы Яндекс изучает по ранним запросам пользователя в поиске, а также по поведению пользователя на сайтах, статистика которых ему известна.

Информацию об интересах пользователей Яндекс пополняет раз в сутки и делит эти интересы на долговременные и кратковременные.

Таким образом, по одному и тому же запросу может быть сформирована совершенна разная выдача.

Например, если Яндекс решит, что к интересам одного пользователя можно отнести фильмы, а к интересам другого – путешествия, то по запросу «Мадагаскар» первому будет показана выдача относительно мультфильма “Мадагаскар”, а второму – относительно острова Мадагаскар.

Подобные изменения характерны и для поисковых подсказок – они тоже «подстраиваются» под интересы пользователя.

Некоторые особенности алгоритма:

• также, как и в «Рейкъявике», учитываются предпочтения пользователя по языку
• новые возможности поисковых подсказок:
  • появились подсказки сиреневого цвета – это подсказки, соответствующие ранним запросам пользователя
  • также выделено 400 000 групп пользователей по интересам для показа им однотипных подсказок
  • показ «любимых» сайтов в подсказках
  • подсказки меняются в соответствии с предыдущим запросом пользователя

Теперь все действия по раскрутке необходимо совершать комплексно: важны не только ссылки и ключевые слова, но и контент, и дизайн сайта, и его удобство для пользователя. И многое другое…

Алгоритм «Дублин»

Заявление о новом алгоритме появилось 30 мая 2013 года. В целом, «Дублин» - это модификация «Калининграда».

Если «Калининград» делил интересы на долговременные и кратковременные, то новый алгоритм, по словам Яндекса, “умеет реагировать и на сиюминутные интересы”.

Учёт сиюминутных интересов пользователя происходит буквально за несколько секунд.

Таким образом, если ранее было выявлено, что пользователю интересны фильмы, но вдруг у него возник интерес к географии или путешествиям, то по запросу «Мадагаскар» будет показана выдача относительно острова Мадагаскар, а не мультфильма с тем же названием.

Стоит сразу отметить, что досконально описать конкретный алгоритм поисковой системы под силу, наверное, только разработчикам этого алгоритма. По известным причинам все изменения внутри поисковых механизмов не должны выходить дальше отдела разработки.

Имея некоторое представление об эволюции данных алгоритмов, можно не только увидеть, какой интересный путь прошли поисковые технологии и поисковой маркетинг за такой промежуток времени, но и научиться предугадывать дальнейшие изменения, чтобы вовремя к ним подготовиться.

Некоторые алгоритмы Яндекса настолько изменили выдачу и повлияли на продвижение сайтов, что до сих пор вызывают определённые эмоции у оптимизаторов.

© Пётр Куприянов, web-ru.net

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Писал недавно аналогичную статью про и решил, что осветить прошлое отечественного поисковика тоже необходимо для полноты картины. Рамблер не предлагать:)

Изначально с 1990 года по 1996 компания под необычным названием «Аркадия» занималась разработкой программных продуктов, тесно связанных с поиском по словам. Первым шагом на пути к созданию поисковой системы, такой, какой мы её знаем сейчас, было создание автоматического классификатора изобретений, весом 10 мб. Благодаря полученным в Аркадии наработкам – старт Яндекса был впечатляющим.

Далекое прошлое: все алгоритмы Яндекса с 1997 года

• 23 сентября 1997 год – Официальный день рождения компании «Яндекс». Со старта поисковик уже мог учитывать морфологию, расстояние между словами и оценивать релевантность документа к введенному запросу.
• Ноябрь 1997 года – Пользователи могут получать релевантные ответы на естественно-языковые запросы. Типа «где купить», «куда сходить» и так далее.
• 1998 год – Яндекс добавил возможность «найти похожий документ» по времени изменения и в диапазоне дат.
• 1999 год – Становится возможен поиск по разным категориям: зоны текста, категории, изображения. В этот же год добавили понятие «индекс цитирования». В поиске появляется фильтр, нацеленный на избежание порнографии и мата.
• 2000 год – Яндекс охватывает новые области. В частности «Яндекс.Новости». Теперь тексты ранжируются по степени важности.
• 2001 год – Объем данных в индексе поисковика превысил 1 терабайт.
• 2002 год – SEO начинает активно возвышать сайты в поиске. Два основных способа: обмен ссылками и размещение ссылок в каталогах.
• 2003 год – Популярность обмена ссылками зашкаливает. Появляются автоматические сервисы для обмена бэками. Тенденция сохраняется весь 2004 год.
• Начало 2005 года – Продвижение с помощью линкаторов (сервисов для автоматической накрутки ссылок) переступает все пределы. В топе результатов поиска появляются абсолютно не релевантные страницы.

  Продвинуть можно было любой сайт по любому запросу без особых трудностей – начали появляться различные приколы. В то время по запросу «враг народа» можно была найти сайт президента РФ Владимира Владимировича. А запрос геморрой показывал русскоязычную версию сайта Microsoft.

• Конец 2005 года – Логично предположить, «Яндекс» начал истреблять линкаторы. Так называемый «Непот-фильтр» аннулировал вес ссылок с сайтов, занимающихся линко-торговлей.
• 2006 год – На смену обмену ссылками пришли биржи, на которых можно было приобрести бэклинк с разных площадок (типа досок объявлений).
• 2007 год – Ссылки стали товаром. И было предсказуемо создание крупной биржи для покупки/продажи ссылок в различных режимах, на разных ресурсах и тд. В те годы, подобный бизнес мог приносить очень неплохой ежемесячный доход. А значит, и заниматься этим стали все подряд. Основной работой в SEO стала покупка бэклинков. В этот же год вышла новая формула ранжирования, по которой по высокочастотным, однословным запросам в ТОП выходили в основном главные страницы сайтов.

Время перемен в Яндекс: история обновлений с 2007 по 2009

• 20 декабря 2007 года – Обновление алгоритма ранжирования. Первые попытки борьбы со спамом. Из результатов поиска исключаются ресурсы, которые сильно злоупотребляли наращиванием ссылочного профиля.
• 17 января 2008 года – «8 SP1». Первый алгоритм «Яндекса», который удостоился собственного имени, хоть и не очень понятного. С этого момента верхушку поиска занимают старые, авторитетные сайты. Появляется понятие «трастранк», степень доверия к сайту. Кстати, теперь «Яндекс» обещает называть все свои алгоритмы названием городов.
• 19 марта 2008 года – Фильтрация, нацеленная на борьбу с покупными ссылками, ужесточается. Большинство сайтов, которые покупали бэклинки, проседают в позициях. Но, ко всеобщему удивлению, от принятых мер поисковая выдача стала только хуже, поэтому все вернулось на свои места.
• 16 мая 2008 года – «Магадан». Поисковик научился читать транслитерацию, переводы и аббревиатуры. Стал доступен поиск по зарубежным сайтам. Смягчилась фильтрация отбора документов. Вдвое увеличилось количество факторов ранжирования. Почти сразу вышел «Магадан 2.0». Добавлены новые факторы, которые учли уникальность контента и стали классифицировать запросы на коммерческие/некоммерческие и геозависимые/геоНЕзависимые.
• 12 сентября 2008 года – «Находка». Повысился вес внутренних страниц. Теперь по среднечастотным и по некоторым высокочастотным запросам можно встретить в поиске не только главные страницы. Усиливается борьба с клоакингами (сайты, созданные для манипулирования трафиком. Черный SEO метод). Расширен словарь связей.
• 10 апреля 2009 года – «Арзамас». Улучшается распознавание опечаток в запросах. Выдача становится . Теперь поисковик учитывает регион пользователя. Появился термин «региональное продвижение». Выявлено 19 основных регионов.
• 28 сентября 2009 года. Фильтр 17. По словам Яндекса, фильтр работает с 2006 года. Но ранее его присутствие было не столь ярко выражено. Фильтр нацелен на борьбу с некачественными сайтами, например, созданными и заполненными автоматически.
• 10 ноября 2009 года –«Снежинск». Теперь по высокочастотным однословным запросам лидерами поиска стали информационные сайты, вытеснив коммерческие. Официальное рождение «Матрикснет», нового метода машинного обучения. Теперь все запросы, характеризующие сайты, стали связаны между собой. Первые слухи о поведенческих факторах.

  SEO становится все сложнее.

• 18 декабря 2009 года – АГС 30. Теперь фильтр стал умнее. Он начал исключать из индекса не только неуникальные сайты, но и ресурсы, не несущие никакой пользы.
• 22 декабря 2009 года – «Конаково». В поддержку Арзамасу число регионов увеличилось с 19 до 1250.

Изменение алгоритмов Яндекса: наши дни

• 20 января 2010 года – Анти-портянки. Яндекс ввел фильтр за огромные тексты, перенасыщенные ключевыми словами.
• 6 августа 2010 года – «Обнинск». Была расширена формула ранжирования, что в первую очередь повлияло на геонезависимые запросы. Алгоритм также негативно повлиял на продвижение некачественными ссылками. Еще в 2010 году подтвердились слухи о поведенческих факторах.
• 15 декабря 2010 года – «Краснодар». Два крупных нововведения. Первым стала технология «Спектр», которая отвечала на неоднозначные запросы пользователя, разбавляя выдачу разными ответами. Классический пример неоднозначного запроса “Наполеон” – что хотел пользователь? Торт? Полководец? Музыкальная группа? Так вот спектр был создан, чтобы удовлетворить все возможные потребности по неоднозначным запросам. Вторым нововведением стала индексация соц. сети “ВКонтакте”. Теперь можно через поисковую строку можно найти профили пользователей из соцсети.
• Май 2011 года – Многие сайты потеряли позиции из-за волны ручной пессимизации за накрутку поведенческих факторов.
• 17 августа 2011 года – «Рейкьявик». Усовершенствование персонализации. Добавление « », теперь, вводя в поисковую строку какую-либо формулу, пользователь сразу получал ответ.
• 13 сентября 2011 года – «Ты спамный». Фильтр за переспамленный текст. Понижались тексты, которые имели низкий показатель поведенческих факторов.
• 12 декабря 2012 год –«Калининград». Главная идея сделать полностью персональный поиск. Теперь пользователю предлагались подсказки, основанные на его предыдущей истории. Помимо Калининграда в течение года улучшился поиск по контенту в соцсетях. По неоднозначным запросам появились подсказки, чтобы уточнить, чего хотел пользователь. Немного позже подсказки стали учитывать предыдущие запросы пользователя. В сниппеты стали добавлять профили в социальных сетях. Яндекс начал сотрудничать с Твиттером. После того как открыл Яндексу свою базу данных, скорость индексации сайта с регулярными твиттами заметно улучшилась. Еще понизились сайты с pop-up элементами, которые маскировались под системные сообщения и сигналы социальных сетей.
• Февраль 2013 года – Яндекс начал отмечать сайты, зараженные вирусами или содержащие вредоносный код.
• 13 мая 2013 года – К адресу в сниппете сайтов добавили ближайшую станцию метро и время работы организации.
• 16 мая 2013 года – Платформа «Острова». Принципиальное изменение формата поисковика. Яндекс планировал сделать так, чтобы пользователь мог решать свои проблемы не заходя на конкретный сайт, а сразу в поисковике. Например, заказать/купить/вызвать и так далее. Почему-то дата релиза все время откладывалась.
• 6 ноября 2013 года – АГС 40. Очередное ужесточение АГС фильтра. Отныне фильтр полностью автоматический.
• 2014 год. Отныне АГС фильтр не выкидывал страницы из индекса, а обнулял тИЦ. Активная борьба со ссылками. Анонс безссылочной формулы ранжирования для ряда коммерческих тематик в Москве. Очередная волна пессимизации за накрутку ПФ. Волна пессимизации за агрессивную рекламу.
• 15 апреля 2015 года – Анонс «Минусинск». На «Неделе байнета» Яндекс анонсировал новый алгоритм, направленный на борьбу со ссылочным спамом. На удивление, перед тем как применить санкции к сайтам, Яндекс разослал предупреждения, что весьма несвойственно поисковику.
• 15 мая – 23 июня 2015 года. За этот короткий промежуток времени прошло три волны, понижающих сайты за ссылочный спам.

Новые алгоритмы поиска Яндекса

2 февраля 2016 года – «Владивосток». Яндекс запустил новый алгоритм, оценивающий «мобилопригодность». Теперь в мобильной выдаче одним из значимых факторов ранжирования является адаптированность сайта под мобильные устройства.

Продолжение следует

Как бы ни усложняли жизнь SEO специалистам, все мы пользуемся поиском. И за последние годы поисковая выдача сильно преобразилась. Причем в лучшую сторону. Надеюсь, Яндекс и дальше будет выдумывать оригинальные способы, ограничивающие возможности воздействовать на результаты поиска. Так работать только интересней.

Лето 2017 года, 22 августа – выход нового поискового алгоритма от Яндекса. Анонс на официальном блоге: https://yandex.ru/blog/company/korolev

Чем будут озадачены сеошники в связи с его появлением? До этого интеллектуальный поиск представлял «Палех», в анонсе в 2016 году обязательно почитайте о нейронных сетях и изменениях в работе сео специалистов над

Цитирую новость:

«Яндекс запустил новую версию поиска, основанную на алгоритме «Королёв» - он использует нейронную сеть, которая способна сопоставлять смысл запросов и веб-страниц. Это позволяет поиску с высокой точностью отвечать на редкие и сложные вопросы. Для обучения искусственного интеллекта Яндекс задействует не только поисковую статистику, но и распределенную сеть ассесоров и толокеров, а также оценки миллионов пользователей.»

Важная особенность «Королёва» в том, что помимо сопоставления смысла запроса и страницы, он учитывает ещё и смысл других запросов, которым страница релевантна.

Сравнение алгоритмов 2016 и 2017 года

«Палех» в реальном времени сопоставлял смысл запроса и заголовка веб-страницы. «Королёв» же использует нейронную сеть, которая анализирует уже всю страницу.»

В марте 2017 года Яндекс ввел новый алгоритм ранжирования Баден-Баден для борьбы с перенасыщенностью ключевыми словами. Тогда и заговорили о важности LSI-копирайтинга.

Что такое LSI-тексты и как их писать

ЛСИ копирайтинг (lsi - latent semantic indexing или латентно-семантический индекс) – это не привычные seo тексты, насыщенные ключевыми фразами, а полное раскрытие смысла ключевых запросов в интересной для читателя форме.

В данной методике написания главную роль играют фразы по теме статьи. Редкие речевые обороты, понятные только узким специалистам той или иной области употреблять не следует. Исключение составляют технические статьи.

Важно, чтобы пользователь получил исчерпывающий ответ на свой вопрос (поисковый запрос).

Теперь о конкретных действиях при наполнении и продвижении сайтов. На что нужно обратить внимание в первую очередь.

• Использовать синонимы теперь стало еще важнее, чем раньше.
• Так же важно употреблять в текстах кроме ключевых слов и тематические.
• Не забывать добавлять подсказки (фразы, которые вы видите при наборе запроса в поисковой строке), фразы из нижней части страницы выдачи (вместе с этим ищут …) подсветки.
• Так же из статистики Яндекс.Вордстат: «Что искали со словом…»

Подсказки:

Фразы из нижней части страницы выдачи:

Подсветки:

• Яндекс и гугл по-разному формируют сниппет. Google берет из тайтла и дексрипшена, а яндекс может выбрать кусок релевантного запросу текста. Поэтому, чем интересней и привлекательней будет этот кусок, тем будет больше переходов на сайт из выдачи благодаря сниппету.

Отличия LSI и SEO оптимизации

В SEO ключевые слова и фразы вставляются в заголовки, контент и мета теги.

• В LSI ключи могут быть или не быть. Цель – это дать исчерпывающий ответ на предполагаемый вопросы посетителя. Если ключ лишний для конкретной статьи, то его лучше не использовать.
• В SEO мы стремимся к определенному проценту плотности ключевых слов.

В LSI употребляется максимум дополнительных тематических и релевантных слов и словосочетаний.

• В SEO мы стремимся к достижению уникальности по техническим параметрам.

В LSI важна смысловая уникальность и исчерпанность контента.

Заключение

ЛСИ тексты могут быть в топе по запросам, которых нет в чистом виде на самой странице.

С LSI-индексированием нужно забыть о нетематических врезках.