Как работает поисковая система? Важный фактор продвижения ресурса, или хороший контент для поисковиков Как относятся поисковики

Совсем недавно оптимизаторы санкции Google за всплывающие окна и скрытый контент на сайте. Тогда, к удивлению многих, представители Google заявили, что алгоритмы поисковика не накладывают санкции за скрытую информацию и задали встречный вопрос, зачем вообще прятать контент на странице?

Насколько честны были в тот момент Гэри Илш и Джон Мюллер сказать трудно. Вряд ли люди, настолько приближенные к SEO, первый раз слышат о скрытой информации и «простынях» текста, спрятанных за границами экрана пользователя.

Вероятно, именно к такому же мнению пришли журналисты seonews.ru. И задали вопрос – «а как Яндекс относится к скрытому SEO-тексту?». Ответы троих видных представителей Рунета ниже.

Михаил Сливинский
один из топ-менеджеров компании Яндекс

Выразил мнение, что любая попытка манипулировать поиском приведет к плачевному результату.

«Сайт должен быть ориентирован на пользователя, а не на роботов поисковых систем».

Основной тезис его сообщения – каждый случай стоит рассматривать отдельно. Иногда использование скрытых элементов идет на пользу проекту, в других случаях спрятанный текст становится источником проблем при продвижении.

Не считая «адски-переспамленного» скрытого контента (такой уйдет в бан в любом случае), все варианты сокрытия части информации рассматриваются на уровне асессоров — живых людей, реагирующих на сигналы алгоритмов и/или жалобы пользователей.

По мнению Дмитрия, тут нужно понимать, на какой эффект рассчитывает оптимизатор:

• ввести в заблуждение поисковую систему (попытка манипулировать поиском);
• повысить юзабилити и функциональные возможности сайта, тем самым улучшив пользовательский опыт.

Корректная и удобная реализация не вызовет вопросов даже у асессора. Соответственно никаких негативных последствий для сайта не будет. И, напротив, намеренное манипулирование, попытка работы напрямую с поисковым роботом, плохо скажутся на интернет-ресурсе.

Дмитрий сознается, что часть проектов «Пиксель Плюс» не обходится без «скрытых» элементов. Но каждый раз они оценивают, насколько это необходимо и нет ли возможности использовать альтернативные методы наполнения сайта.

Интернет необходим многим пользователям для того, чтобы получать ответы на запросы (вопросы), которые они вводят.

Если бы не было поисковых систем, пользователям пришлось бы самостоятельно искать нужные сайты, запоминать их, записывать. Во многих случаях найти «вручную» что-то подходящее было бы весьма сложно, а часто и просто невозможно.

За нас всю эту рутинную работу по поиску, хранению и сортировке информации на сайтах .

Начнем с известных поисковиков Рунета.

Поисковые системы в Интернете на русском

1) Начнем с отечественной поисковой системы. Яндекс работает не только в России, но также работает в Белоруссии и Казахстане, в Украине, в Турции. Также есть Яндекс на английском языке.

2) Поисковик Google пришел к нам из Америки, имеет русскоязычную локализацию:

3)Отечественный поисковик Майл ру, который одновременно представляет социальную сеть ВКонтакте, Одноклассники, также Мой мир, известные Ответы Mail.ru и другие проекты.

4) Интеллектуальная поисковая система

Nigma (Нигма) http://www.nigma.ru/

С 19 сентября 2017 года “интеллектуалка” nigma не работает. Она перестала для её создателей представлять финансовый интерес, они переключились на другой поисковик под названием CocCoc.

5) Известная компания Ростелеком создала поисковую систему Спутник.

Есть поисковик Спутник, разработанный специально для детей, про который я писала .

6) Рамблер был одним из первых отечественных поисковиков:

В мире есть другие известные поисковики:

• Bing,
• Yahoo!,
• Baidu,
• Ecosia,

Попробуем разобраться, как же работает поисковая система, а именно, как происходит индексация сайтов, анализ результатов индексации и формирование поисковой выдачи. Принципы работы поисковых систем примерно одинаковые: поиск информации в Интернете, ее хранение и сортировка для выдачи в ответ на запросы пользователей. А вот алгоритмы, по которым работают поисковики, могут сильно отличаться. Эти алгоритмы держатся в тайне и запрещено ее разглашение.

Введя один и тот же запрос в поисковые строки разных поисковиков, можно получить разные ответы. Причина в том, что все поисковики используют собственные алгоритмы.

Цель поисковиков

В первую очередь нужно знать о том, что поисковики – это коммерческие организации. Их цель – получение прибыли. Прибыль можно получать с контекстной рекламы, других видов рекламы, с продвижения нужных сайтов на верхние строчки выдачи. В общем, способов много.

Зависит от того, какой размер аудитории у него, то есть, сколько человек пользуется данной поисковой системой. Чем больше аудитория, тем большему числу людей будет показываться реклама. Соответственно, стоить эта реклама будет больше. Увеличить аудиторию поисковики могут за счет собственной рекламы, а также привлекая пользователей за счет улучшения качества своих сервисов, алгоритма и удобства поиска.

Самое главное и сложное здесь – это разработка полноценного функционирующего алгоритма поиска, который бы предоставлял релевантные результаты на большинство пользовательских запросов.

Работа поисковика и действия вебмастеров

Каждый поисковик обладает своим собственным алгоритмом, который должен учитывать огромное количество разных факторов при анализе информации и составлении выдачи в ответ на запрос пользователя:

• возраст того или иного сайта,
• характеристики домена сайта,
• качество контента на сайте и его виды,
• особенности навигации и структуры сайта,
• юзабилити (удобство для пользователей),
• поведенческие факторы (поисковик может определить, нашел ли пользователь то, что он искал на сайте или пользователь вернулся снова в поисковик и там опять ищет ответ на тот же запрос)
• и т.д.

Все это нужно именно для того, чтобы выдача по запросу пользователя была максимально релевантной, удовлетворяющей запросы пользователя. При этом алгоритмы поисковиков постоянно меняются, дорабатываются. Как говорится, нет предела совершенству.

С другой стороны, вебмастера и оптимизаторы постоянно изобретают новые способы продвижения своих сайтов, которые далеко не всегда являются честными. Задача разработчиков алгоритма поисковых машин – вносить в него изменения, которые бы не позволяли «плохим» сайтам нечестных оптимизаторов оказываться в ТОПе.

Как работает поисковая система?

Теперь о том, как происходит непосредственная работа поисковой системы. Она состоит как минимум из трех этапов:

• сканирование,
• индексирование,
• ранжирование.

Число сайтов в интернете достигает просто астрономической величины. И каждый сайт – это информация, информационный контент, который создается для читателей (живых людей).

Сканирование

Это блуждание поисковика по Интернету для сбора новой информации, для анализа ссылок и поиска нового контента, который можно использовать для выдачи пользователю в ответ на его запросы. Для сканирования у поисковиков есть специальные роботы, которых называют поисковыми роботами или пауками.

Поисковые роботы – это программы, которые в автоматическом режиме посещают сайты и собирают с них информацию. Сканирование может быть первичным (робот заходит на новый сайт в первый раз). После первичного сбора информации с сайта и занесения его в базу данных поисковика, робот начинает с определенной регулярностью заходить на его страницы. Если произошли какие-то изменения (добавился новый контент, удалился старый), то все эти изменения будут поисковиком зафиксированы.

Главная задача поискового паука – найти новую информацию и отдать ее поисковику на следующий этап обработки, то есть, на индексирование.

Индексирование

Поисковик может искать информацию лишь среди тех сайтов, которые уже занесены в его базу данных (проиндексированы им). Если сканирование – это процесс поиска и сбора информации, которая имеется на том или ином сайте, то индексация – процесс занесения этой информации в базу данных поисковика. На этом этапе поисковик автоматически принимает решение, стоит ли заносить ту или иную информацию в свою базу данных и куда ее заносить, в какой раздел базы данных. Например, Google индексирует практически всю информацию, найденную его роботами в Интернете, а Яндекс более привередлив и индексирует далеко не все.

Для новых сайтов этап индексирования может быть долгим, поэтому посетителей из поисковых систем новые сайты могут ждать долго. А новая информация, которая появляется на старых, раскрученных сайтах, может индексироваться почти мгновенно и практически сразу попадать в «индекс», то есть, в базу данных поисковиков.

Ранжирование

Ранжирование – это выстраивание информации, которая была ранее проиндексирована и занесена в базу того или иного поисковика, по рангу, то есть, какую информацию поисковик будет показывать своим пользователям в первую очередь, а какую информацию помещать «рангом» ниже. Ранжирование можно отнести к этапу обслуживания поисковиком своего клиента – пользователя.

На серверах поисковой системы происходит обработка полученной информации и формирование выдачи по огромному спектру всевозможных запросов. Здесь уже вступают в работу алгоритмы поисковика. Все занесенные в базу сайты классифицируются по тематикам, тематики делятся на группы запросов. По каждой из групп запросов может составляться предварительная выдача, которая впоследствии будет корректироваться.

Приветствую вас дорогие друзья! Давно меня мучал вопрос — Влияет ли неуникальность шаблона оформления на сайте WordPress на выдачу сайта в поисковых системах — яндекс, гугл, тоесть если поставить на сайт такой шаблон, который стоит на других сотнях-тысячах сайтах, как к этому относятся поисковики.

Вопрос довольно интересный и касается всех у кого есть сайт. Давайте попробуем разобраться.

Как относятся поисковики к неуникальным шаблонам на сайте?

Бытует два мнения:

Первое мнение — Тема оформления для сайта нужна уникальная. Поисковые роботы когда изучают сайт видят неуникальный код темы, неуникальный он потому, что такую тему так же установили на другие сайты раньше вас, и из-за этого понижают сайты в выдаче, поэтому нужно делать тему оформления с нуля. Заказывать дизайнерам, чтобы они нарисовали сайт, потом отдавать верстальщикам, чтобы натянуть дизайн на CMS, в моем случае WordPress и тогда к такому сайту поисковые системы(ПС) будут относится хорошо.

Второе мнение — Что можно ставить на свой сайт тему не уникальную — тоесть шаблон. Шаблоны есть как бесплатные, так и платные. Выбирай какой хочешь, ставь на сайт и все. Для поисковиков главное информация — статьи, видео и т.д., которые публикуются на сайте, поэтому на выдачу неуникальность темы никак не влияет.

Почитав мнения я понял что так не разобраться, потому что оба мнения имеют право быть и там и там есть свои плюсы и минусы.

Затем я решил написать, так сказать, первоисточнику — написать в тех.поддержку яндекса на прямую и спросить у них — как они ранжируют сайты. Да я ж чертов гений просто! :-D))

Вот что я им написал:

«Здравствуйте. Не нашел я пункт, чтобы просто задать вопрос, поэтому извините если категория вопроса не та.

Подскажите пожалуйста, мучает меня вопрос, у меня сайт на cms WordPress, когда роботы яндекса индексируют сайт, видят ли они тему оформления, что это шаблонный не уникальный вариант? Такой же как и у тех, кто так же устанавливает такой шаблон на свой сайт. И может из за этого сайт понижаться по позициям в поиске?

Отдают ли роботы яндекса предпочтение сайтам с уникальным дизайном? Нежели шаблонным.

Сильно ли это плохо или нет? Спасибо.»

Скрин:

На следующий день пришел ответ:

Скрин:

Вывод — как мы видим из ответа поддержки яндекса, что на первом месте для них — это удобство для посетителей и именно от этого они и строят свою политику насчет того, как правильно ранжировать сайты и выдавать их в поисковой выдаче.

Тоесть для них большой роли это не играет, если и есть влияние неуникальности шаблона на выдачу в поиске, то совсем небольшое. Конечно, возможно, если взять в сравнение два сайта — один с шаблонным дизайном и второй с уникальным, то второй будет немного впереди. Но опять же, не стоит забывать про политику поисковиков, если на сайте с уникальным дизайном будет, например, ужасная навигация и не интересные статьи, то дизайн его не спасет в этом случае!)

Что по этому поводу думаю я, так это то, что пусть каждый выбирает для себя то, что ему больше нравится и подходит:-)

Уникальный дизайн сайта, конечно же это круто:

Это повышает ваш бренд и узнаваемость в интернете. Ведь такой дизайн только у вас одного во всем интернете.

Можно сделать его полностью таким, каким хочешь его видеть, что не всегда получается сделать на шаблонном варианте.

— Как самый большой минус такого варианта — это цена. Конечно у разных дизайнеров и верстальщиков цены разные, но в среднем уникальная тема оформления будет стоить от 20 тысяч рублей.

— Так же в будущем могут не подходить какие-либо расширения под вашу тему.

Что касается шаблонов:

Как плюс — это цена. Есть и вообще бесплатные решения, тем более сейчас все больше шаблонов появляется очень хороших — адаптированных под мобильные устройства и с другими плюшками. Ну а если решите все же купить шаблон, то цена довольно не высока. Возьмем как пример самый известный сайт с шаблонами WordPress — Themeforest.net . Очень качественные и профессиональные шаблоны с ценой 40-60$ в среднем.

Поскольку шаблоны делают профессиональные студии, то можем быть уверены что подойдут 98% расширений к данной теме.

— Из минусов главный — это неуникальность. Но тут смотря с какой стороны посмотреть. Учитывая, что в интернете миллионы сайтов, не так уж и часто, скажем так:-D , будет вашим посетителям попадаться тот же шаблон, что стоит и на вашем сайте и поэтому помидорами вас не закидают.

И так же мы можем видоизменять шаблон. Сейчас все больше появляется настроек, с помощью которых мы можем изменить шаблон до неузнаваемости.

В заключении хочу сказать, что начать можно и с шаблонной темы, а в последствии, когда уже раскрутите свой ресурс, то можно сделать редизайн сайта. Есть очень много примеров, когда сайты, на которых стоят шаблонные темы оформления выходили на бешеные показатели посещаемости в 5000-10000-20000 человек в СУТКИ! Да, такие примеры есть и не стоит забывать, что люди идут на ваш сайт из-за контента в первую очередь, а уже потом смотрят красивый у вас сайт или нет!)

Вот такая получилась статья. Пишите свое мнение в комментариях — к какому мнению относитесь вы или же пишите свое мнение, что вы думаете по этому поводу. Пока!)

Что это

DuckDuckGo - это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo, Bing, «Википедии».

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.

Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

Формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках, тогда как Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный .

not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И их число будет расти по мере того, как ужесточается контроль властей над содержанием Сети. Tor - это своеобразная сеть внутри Сети со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

3. YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy - это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

4. Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

FindSounds - ещё один специализированный поисковик. Ищет в открытых источниках различные звуки: дом, природа, машины, люди и так далее. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнять поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это мы выбрали только из доступных русскоязычных запросов. На английском языке спектр ещё шире.

Если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Что это

Wolfram|Alpha - вычислительно-поисковая система. Вместо ссылок на статьи, содержащие ключевые слова, она выдаёт готовый ответ на запрос пользователя. Например, если ввести в форму поиска «сравнить население Нью-Йорка и Сан-Франциско» на английском, то Wolfram|Alpha сразу выведет на экран таблицы и графики со сравнением.

Чем лучше

Этот сервис лучше других подходит для поиска фактов и вычисления данных. Wolfram|Alpha накапливает и систематизирует доступные в Сети знания из различных областей, включая науку, культуру и развлечения. Если в этой базе находится готовый ответ на поисковый запрос, система показывает его, если нет - вычисляет и выводит результат. При этом пользователь видит только и ничего лишнего.

Зачем это вам

Если вы, например, студент, аналитик, журналист или научный сотрудник, то можете использовать Wolfram|Alpha для поиска и вычисления данных, связанных с вашей деятельностью. Сервис понимает не все запросы, но постоянно развивается и становится умнее.

Что это

Метапоисковик Dogpile выводит комбинированный список результатов из поисковых выдач Google, Yahoo и других популярных систем.

Чем лучше

Во-первых, Dogpile отображает меньше рекламы. Во-вторых, сервис использует особый алгоритм, чтобы находить и показывать лучшие результаты из разных поисковиков. Как утверждают разработчики Dogpile, их системы формирует самую полную выдачу во всём интернете.

Зачем это вам

Если вы не можете найти информацию в Google или другом стандартном поисковике, поищите её сразу в нескольких поисковиках с помощью Dogpile.

Что это

BoardReader - система для текстового поиска по форумам, сервисам вопросов и ответов и другим сообществам.

Чем лучше

Сервис позволяет сузить поле поиска до социальных площадок. Благодаря специальным фильтрам вы можете быстро находить посты и комментарии, которые соответствуют вашим критериям: языку, дате публикации и названию сайта.

Зачем это вам

BoardReader может пригодиться пиарщикам и другим специалистам в области медиа, которых интересует мнение массовой по тем или иным вопросам.

В заключение

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко .

Сергей Петренко

Бывший генеральный директор «Яндекс.Украины».

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии. Наверняка вы тоже знаете подобные проекты. Поделитесь с нами - обсудим.