Kaikki Yandex-robotit. Hakurobotit Google ja Yandex. Miten robotit käyttäytyvät ja miten niitä ohjataan

Hänen tehtävänsä on analysoida huolellisesti Internetissä esitettyjen sivustojen sivujen sisältö ja lähettää analyysitulokset hakukoneeseen.

Hakurobotti indeksoi uusia sivuja jonkin aikaa, mutta myöhemmin ne indeksoidaan ja hakukoneiden sanktioiden puuttuessa voidaan näyttää hakutuloksissa.

Toimintaperiaate

Hakurobottien toiminta perustuu samaan periaatteeseen kuin tavallisen selaimen toiminta. Vieraillessaan tietyllä sivustolla he ohittavat osan sen sivuista tai kaikki sivut poikkeuksetta. He lähettävät saamansa tiedot sivustosta hakuhakemistoon. Nämä tiedot näkyvät tiettyä pyyntöä vastaavissa hakutuloksissa.

Koska hakurobotit voivat vierailla vain osassa sivuja, suurten sivustojen indeksoinnissa voi ilmetä ongelmia. Täsmälleen samat ongelmat voivat johtua huonosta laadusta.

Sen toiminnan keskeytykset tekevät jotkin sivut poissa analysoitaviksi. Oikein laaditulla ja oikein konfiguroidulla robots.txt-tiedostolla on tärkeä rooli hakurobottien suorittamassa sivuston arvioinnissa.

Resurssien tarkistuksen syvyys ja hakurobottien sivustojen indeksointitiheys riippuu:

• Algoritmit hakukoneille.
• Verkkosivuston päivitystiheys.
• Sivuston rakenteet.

Haku hakemistosta

Tietokantaa, jonka hakurobotit keräävät, kutsutaan hakuindeksiksi. Hakukoneet käyttävät tätä tietokantaa tuottaakseen hakutuloksia tietyille .

Hakemistoon ei syötetä vain tietoja sivustoista: hakurobotit pystyvät tunnistamaan kuvia, multimediatiedostoja ja asiakirjoja eri sähköisissä muodoissa (.docx, .pdf jne.).

Yksi aktiivisimmista hakuroboteista Yandex-järjestelmässä on Bystrobot. Se skannaa jatkuvasti uutisresursseja ja muita usein päivitettyjä sivustoja. , jota speedbot ei huomaa, ei ole merkitystä.

Voit houkutella sen erikoistyökalujen avulla, ja ne ovat tehokkaita sivustoille monenlaisiin tarkoituksiin. Sivustojen saavutettavuuden tarkistamiseen, niiden yksilöllisten ominaisuuksien analysointiin sekä kuvien ja asiakirjojen indeksointiin hakukoneissa on erilliset robotit.

Hakurobotti (botti, hämähäkki, hämähäkki, indeksointirobotti) on erityinen hakukoneohjelma, joka on suunniteltu tarkistamaan Internetin sivustoja.

Monet ihmiset eivät tiedä, että skannausbotit vain keräävät ja tallentavat tietoja. He eivät käsittele sitä. Muut ohjelmat tekevät tämän.

Jos haluat tarkastella sivustoa hakurobotin silmin, voit tehdä tämän verkkovastaavan paneelin kautta.

Näet, miten Google toimii verkkovastaavan paneelin kautta. Siellä sinun on lisättävä sivustosi ja sitten voit katsoa sivua:

https://www.google.com/webmasters/tools/googlebot-fetch?hl=ru

Voit tarkastella Yandexia sivun tallennetun kopion kautta. Voit tehdä tämän etsimällä haluamasi sivun Yandex-hausta, napsauttamalla "tallennettu kopio" ja sitten "näytä tekstiversio".

Alla on luettelo hakuroboteista, jotka vierailevat sivustoillamme. Jotkut niistä indeksoivat verkkosivustoja, toiset valvovat kontekstuaalista mainontaa. On olemassa erikoistuneita robotteja, jotka suorittavat tiettyjä kapeita tehtäviä. He indeksoivat esimerkiksi kuvia tai uutisia.

Kun tiedät robotin silmästä, voit estää tai sallia sen ryömimisen sivustolla, mikä vähentää palvelimen kuormitusta. No, tai suojaa tietosi joutumasta verkkoon.

Yandex-hakurobotit

Yandex-hakukoneessa on tiedossamme tusina ja puoli hakurobottia. Alla on luettelo roboteista, jotka onnistuin kaivaa esiin, myös virallisesta ohjeesta.

YandexBot on tärkein indeksointirobotti;
YandexMedia on robotti, joka indeksoi multimediatietoja;
YandexImages - Yandex.Images-hakemisto;
YandexCatalog - Yandex.Catalogin napautustyökalu, jota käytetään poistamaan tilapäisesti sivustot, jotka eivät ole käytettävissä luettelossa;
YaDirectFetcher - Yandex.Direct-robotti;
YandexBlogs on blogihakurobotti, joka indeksoi viestit ja kommentit;
YandexNews - Yandex.News-robotti;
YandexWebmaster – tulee, kun sivusto lisätään AddURL-foorumin kautta;
YandexPagechecker - mikromerkintöjen tarkistaja;
YandexFavicons - favicon-indeksoija
YandexMetrika - Yandex.Metrica-robotti;
YandexMarket - Yandex.Market-robotti;
YandexCalendar on Yandex.Calendar-robotti.

Googlen hakurobotit (bottit)

Googlebot on tärkein indeksointirobotti;
Googlebot Nes - uutishakemisto;
Googlebot Images - kuvien indeksointityökalu;
Googlebot Video - robotti videodatalle;
Google Mobile - mobiilisisällön indeksoija;
Google Mobile AdSense - mobiili-AdSense-robotti
Google AdSense - AdSense-robotti
Google AdsBot – aloitussivun laaduntarkistusbotti
Mediapartners-Google - AdSense-robotti

Muiden hakukoneiden robotit

Sivustosi lokeissa voit myös törmätä muihin hakukoneiden robotteihin.

Rambler - StackRambler
Mail.ru - Mail.Ru
Yahoo! - Slurp (tai Yahoo! Slurp)
AOL - Slurp
MSN - MSNBot
Live - MSNBot
Kysy - Teoma
Alexa - ia_archiver
Lycos - Lycos
Aport - Aport
Webalta – WebAlta (WebAlta Crawler/2.0)

Hakukonebottien lisäksi sivustoilla liikkuu valtava armeija kaikenlaisia ​​vasemmistohämähäkkejä. Nämä ovat erilaisia ​​jäsentimiä, jotka keräävät tietoja sivustoilta, yleensä luojiensa itsekkäisiin tarkoituksiin.

Jotkut varastavat sisältöä, toiset kuvia, toiset hakkeroivat verkkosivustoja ja sijoittavat salaa linkkejä. Jos huomaat, että tällainen jäsentäjä on liittynyt sivustoosi, estä sen pääsy kaikilla mahdollisilla tavoilla, mukaan lukien kautta

Palvelinlokeja tarkasteltaessa voit joskus havaita hakurobottien liiallista kiinnostusta sivustoja kohtaan. Jos botit ovat hyödyllisiä (esimerkiksi PS-indeksointibotit), ei tarvitse muuta kuin tarkkailla, vaikka palvelimen kuormitus lisääntyisi. Mutta on myös paljon pieniä robotteja, joiden pääsyä sivustolle ei vaadita. Itselleni ja sinulle, rakas lukija, keräsin tiedot ja muunsin ne käteväksi tabletiksi.

Ketkä ovat hakurobotteja

Hakubotti, tai kuten niitä myös kutsutaan, robotti, telaketju, hämähäkki - ei muuta kuin ohjelma, joka etsii ja skannaa verkkosivustojen sisältöä seuraamalla sivuilla olevia linkkejä. Hakurobotteja ei ole vain hakukoneissa. Esimerkiksi Ahrefs-palvelu käyttää hämähäkkejä parantaakseen tietoja käänteislinkeistä, Facebook kaapii sivun koodia verkossa näyttääkseen uudelleen lähetetyt linkit otsikoineen, kuvineen ja kuvauksin. Web scraping on tiedon keräämistä eri resursseista.

Hämähäkkinimien käyttäminen robots.txt-tiedostossa

Kuten näette, jokaisessa vakavassa sisällönhakuun liittyvässä projektissa on omat hämähäkkinsä. Ja joskus kiireellinen tehtävä on rajoittaa tiettyjen hämähäkkien pääsy sivustolle tai sen yksittäisiin osiin. Tämä voidaan tehdä sivuston juurihakemistossa olevan robots.txt-tiedoston kautta. Kirjoitin aiemmin robottien asettamisesta lisää, suosittelen lukemaan sen.

Huomaa, että hakurobotit voivat jättää huomiotta robots.txt-tiedoston ja sen käskyt. Direktiivit ovat vain suosituksia boteille.

Voit asettaa hakurobotille käskyn käyttämällä osiota - ottamalla yhteyttä tämän robotin käyttäjäagenttiin. Eri hämähäkkien osiot on erotettu yhdellä tyhjällä rivillä.

User-agent: Googlebot Salli: /

Yllä on esimerkki puhelusta Googlen päähakurobotille.

Aluksi ajattelin lisätä taulukkoon merkintöjä siitä, kuinka hakubotit tunnistavat itsensä palvelimen lokeissa. Mutta koska näillä tiedoilla on vähän merkitystä SEO:lle ja jokaiselle agenttitunnukselle voi olla useita tietueita, päätettiin tyytyä vain robottien nimiin ja niiden tarkoitukseen.

Etsi robotteja G o o g l e

Hakurobotit I ndex

Muita suosittuja hakubotteja

Hakubotteja on paljon, valitsin vain suosituimmat ja kuuluisimmat. Jos on botteja, joihin olet törmännyt sivustojen aggressiivisen ja jatkuvan skannauksen takia, ilmoita tästä kommenteissa, lisään ne myös taulukkoon.

Toisin kuin yleisesti luullaan, robotti ei ole suoraan mukana missään skannattujen asiakirjojen käsittelyssä. Se vain lukee ja tallentaa ne, sitten muut ohjelmat käsittelevät ne. Visuaalinen vahvistus voidaan saada analysoimalla ensimmäisen kerran indeksoitavan sivuston lokit. Ensimmäisellä vierailulla botti pyytää ensin robots.txt-tiedostoa ja sitten sivuston pääsivua. Eli hän seuraa ainoaa hänen tuntemaansa linkkiä. Tähän botin ensimmäinen vierailu aina päättyy. Jonkin ajan kuluttua (yleensä seuraavana päivänä) botti pyytää seuraavia sivuja - käyttämällä linkkejä, jotka löytyvät jo luetulta sivulta. Sitten prosessi jatkuu samassa järjestyksessä: sivujen pyytäminen, joille linkit on jo löydetty - tauko luettujen asiakirjojen käsittelyssä - seuraava istunto, jossa pyydetään löytyneitä linkkejä.

Sivujen jäsentäminen lennossa tarkoittaisi huomattavasti enemmän O robotin suurempi resurssien kulutus ja ajanhukkaa. Jokainen tarkistuspalvelin ajaa useita bottiprosesseja rinnakkain. Heidän on toimittava mahdollisimman nopeasti, jotta heillä on aikaa lukea uudet sivut ja lukea uudelleen olemassa olevat sivut. Siksi robotit vain lukevat ja tallentavat asiakirjoja. Kaikki mitä he tallentavat, on jonossa käsittelyä varten (koodin jäsentäminen). Sivun käsittelyn aikana löydetyt linkit sijoitetaan bottien tehtäväjonoon. Näin koko verkkoa skannataan jatkuvasti. Ainoa asia, jonka botti voi ja sen pitäisi analysoida lennossa, on robots.txt-tiedosto, jotta se ei pyydä siinä kiellettyjä osoitteita. Jokaisen sivuston indeksointiistunnon aikana robotti pyytää ensin tätä tiedostoa ja sen jälkeen kaikki indeksointijonossa olevat sivut.

Hakurobottien tyypit

Jokaisella hakukoneella on omat robottisarjansa eri tarkoituksiin.
Pohjimmiltaan ne eroavat toiminnallisesta tarkoituksestaan, vaikka rajat ovat hyvin mielivaltaisia, ja jokainen hakukone ymmärtää ne omalla tavallaan. Pelkästään kokotekstihaun järjestelmissä yksi robotti riittää kaikkiin tilanteisiin. Niille hakukoneille, jotka eivät ole mukana vain tekstissä, robotit on jaettu vähintään kahteen luokkaan: tekstit ja piirustukset. On myös erillisiä botteja, jotka on omistettu tietyntyyppiselle sisällölle - mobiili, blogi, uutiset, videot jne.

Google Robotit

Kaikkia Googlen robotteja kutsutaan yhdessä nimellä Googlebot. Päärobotti-indeksoija "esittelee itsensä" näin:

Mozilla/5.0 (yhteensopiva; Googlebot/2.1; +http://www.google.com/bot.html)

Tämä robotti indeksoi HTML-sivuja ja muita asiakirjoja Googlen perushakua varten. Se myös lukee ajoittain CSS- ja JS-tiedostoja - tämä voidaan havaita pääasiassa sivuston indeksoinnin alkuvaiheessa, kun robotti indeksoi sivustoa ensimmäistä kertaa. Hyväksytyt sisältötyypit ovat kaikki (Hyväksy: */*).

Toinen tärkeimmistä roboteista on kiireinen skannaamalla kuvia sivustolta. Se "esittelee itsensä" yksinkertaisesti:

Googlebot-Image/1.0

Lokeissa nähtiin myös ainakin kolme bottia, jotka keräävät sisältöä haun mobiiliversiota varten. Kaikkien kolmen User-agent -kentän lopussa on rivi:

(yhteensopiva; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Ennen tätä riviä on matkapuhelinmalli, jonka kanssa tämä botti on yhteensopiva. Havaitut robotit ovat Nokia-, Samsung- ja iPhone-malleja. Hyväksytyt sisältötyypit ovat kaikki, mutta prioriteetit on ilmoitettu:

Hyväksy: application/vnd.wap.xhtml+xml,application/xhtml+xml;q=0.9,text/vnd.wap.wml;q=0.8,text/html;q=0.7,*/*;q=0.6

Yandex robotit

RuNetissä toimivista hakukoneista Yandexillä on suurin kokoelma robotteja. Verkkovastaavan ohjeosiosta löydät virallisen luettelon kaikista hämähäkkihenkilöstöstä. Ei ole mitään järkeä esittää sitä tässä kokonaisuudessaan, koska tässä luettelossa tapahtuu ajoittain muutoksia.
Meille tärkeimmät Yandex-robotit on kuitenkin mainittava erikseen.
Perus indeksointirobotti tällä hetkellä kutsuttu

Mozilla/5.0 (yhteensopiva; YandexBot/3.0; +http://yandex.com/bots)

Aiemmin edustettuna

Yandex/1.01.001 (yhteensopiva; Win16; I)

Lukee verkkosivujen HTML-sivuja ja muita asiakirjoja indeksointia varten. Hyväksyttyjen mediatyyppien luettelo oli aiemmin rajoitettu:

Hyväksy: text/html, application/pdf;q=0.1, application/rtf;q=0.1, text/rtf;q=0.1, application/msword;q=0.1, application/x-shockwave-flash;q=0.1, application/vnd.ms-excel;q=0.1, application/vnd.ms-powerpoint;q=0.1

31. heinäkuuta 2009 lähtien tässä listassa on havaittu merkittävä laajennus (tyyppien määrä on lähes kaksinkertaistunut), ja 10. marraskuuta 2009 lähtien lista on lyhennetty */*:iin (kaikki tyypit).
Tämä robotti on erittäin kiinnostunut tietyistä kielistä: venäjästä, vähän vähemmän ukrainasta ja valkovenäläisestä, vähän vähemmän englannista ja hyvin vähän kaikista muista kielistä.

Hyväksy-kieli: ru, uk;q=0,8, be;q=0,8, en;q=0,7, *;q=0,01

Robottikuvaskanneri sisältää seuraavan rivin User-agent-kentässä:

Mozilla/5.0 (yhteensopiva; YandexImages/3.0; +http://yandex.com/bots)

Harrastaa eri muotoisten grafiikan skannaamista kuvien etsimiseksi.

Toisin kuin Google, Yandexillä on erilliset robotit palvelemaan tiettyjä yleisiä hakutoimintoja.
Robotti "peili"

Mozilla/5.0 (yhteensopiva; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)

Se ei tee mitään erityisen monimutkaista - se ilmestyy ajoittain ja tarkistaa, vastaako sivuston pääsivu verkkotunnusta käytettäessä www. ja ilman. Tarkistaa myös rinnakkaiset "peili"-verkkotunnukset osumien varalta. Ilmeisesti Yandexin peilejä ja verkkotunnusten kanonista muotoa käsittelee erillinen ohjelmistopaketti, joka ei liity suoraan indeksointiin. Muuten mikään ei selitä erillisen botin olemassaoloa tähän tarkoitukseen.

Ikonien kerääjä favicon.ico

Mozilla/5.0 (yhteensopiva; YandexFavicons/1.0; +http://yandex.com/bots)

Se ilmestyy säännöllisesti ja pyytää favicon.ico-kuvaketta, joka näkyy sitten hakutuloksissa sivuston linkin viereen. Mistä syistä kuvankeräilijä ei jaa tätä vastuuta, ei ole tiedossa. Ilmeisesti pelissä on myös erillinen ohjelmistopaketti.

Vahvistusbotti uusille sivustoille, toimii, kun ne lisätään AddURL-lomakkeeseen

Mozilla/5.0 (yhteensopiva; YandexWebmaster/2.0; +http://yandex.com/bots)

Tämä botti tarkistaa sivuston vastauksen lähettämällä HEAD-pyynnön juuri-URL-osoitteeseen. Tällä tavalla pääsivun olemassaolo verkkotunnuksessa tarkistetaan ja tämän sivun HTTP-otsikot analysoidaan. Botti pyytää myös robots.txt-tiedostoa sivuston juureen. Siten AddURL-linkin lähettämisen jälkeen määritetään, että sivusto on olemassa, eivätkä robots.txt- tai HTTP-otsikot estä pääsyä pääsivulle.

Rambler robotti

Tällä hetkellä ei enää toimi, koska Rambler käyttää nyt Yandex-hakua
Rambler-indeksoijarobotti voidaan helposti tunnistaa lokeista User-agent-kentän avulla

StackRambler/2.0 (MSIE-yhteensopiva)

Verrattuna muiden hakukoneiden "kollegoihinsa" tämä robotti näyttää melko yksinkertaiselta: se ei ilmoita mediatyyppien luetteloa (vastaavasti se vastaanottaa pyydetyn asiakirjan minkä tahansa tyyppistä), Accept-Language -kenttä puuttuu pyynnöstä, ja If-Modified-sce -kenttää ei löydy botin pyynnöistä .

Robot Mail.Ru

Tästä robotista tiedetään vielä vähän. Mail.Ru-portaali on kehittänyt omaa hakuaan pitkään, mutta se ei ole vieläkään päässyt käynnistämään tätä hakua. Siksi vain käyttäjäagentissa olevan botin nimi tunnetaan tietyille - Mail.Ru/2.0 (aiemmin - Mail.Ru/1.0). Robors.txt-tiedoston ohjeiden botin nimeä oletetaan olevan Mail.Ru.

Muut robotit

Internet-haku ei tietenkään rajoitu kahteen hakukoneeseen. Siksi on olemassa muita robotteja - esimerkiksi Bing-robotti - Microsoftin ja muiden robottien hakukone. Joten erityisesti Kiinassa on kansallinen hakukone Baidu - mutta sen robotti ei todennäköisesti pääse joen keskelle ja saavuttaa Venäjän sivuston.

Lisäksi monet palvelut ovat viime aikoina yleistyneet - erityisesti solomono - jotka, vaikka ne eivät ole hakukoneita, myös skannaavat sivustoja. Usein sivustotietojen välittämisen arvo tällaisiin järjestelmiin on kyseenalainen, ja siksi niiden robotit voidaan kieltää

Etsi robotti on hakukoneen erikoisohjelma, joka on suunniteltu syöttämään tietokantaan (hakemistoon) Internetistä löytyviä sivustoja ja niiden sivuja. Käytetyt nimet myös: crawler, spider, bot, automaticindexer, ant, webcrawler, bot, webscutter, webrobots, webspider.

Toimintaperiaate

Hakurobotti on selaintyyppinen ohjelma. Se skannaa jatkuvasti verkkoa: vierailee indeksoiduilla (sen jo tuntemilla) sivustoilla, seuraa niistä linkkejä ja löytää uusia resursseja. Kun uusi resurssi löydetään, proseduurirobotti lisää sen hakukoneen hakemistoon. Hakurobotti indeksoi myös sivustoille päivitykset, joiden tiheys on kiinteä. Esimerkiksi kerran viikossa päivitettävällä sivustolla käy hämähäkki tällä tiheydellä, ja uutissivustojen sisältö voidaan indeksoida muutamassa minuutissa julkaisusta. Jos sivustolle ei johda linkkejä muista resursseista, hakurobottien houkuttelemiseksi resurssi on lisättävä erityisellä lomakkeella (Google Webmaster Center, Yandex Webmaster Panel jne.).

Hakurobottien tyypit

Yandex hämähäkit:

• Yandex/1.01.001 I - tärkein indeksointiin osallistuva robotti,
• Yandex/1.01.001 (P) - indeksoi kuvat,
• Yandex/1.01.001 (H) - löytää peilisivut,
• Yandex/1.03.003 (D) - määrittää, täyttääkö verkkovastaavan paneelista lisätty sivu indeksointiparametrit,
• YaDirectBot/1.0 (I) - indeksoi resurssit Yandex-mainosverkostosta,
• Yandex/1.02.000 (F) - indeksoi sivuston suosikkikuvakkeet.

Google Spiders:

• Googlebot on tärkein robotti
• Googlebot News - skannaa ja indeksoi uutisia,
• Google Mobile - indeksoi sivustot mobiililaitteille,
• Googlebot Images - etsii ja indeksoi kuvia,
• Googlebot Video - indeksoi videot,
• Google AdsBot – tarkistaa aloitussivun laadun,
• Google Mobile AdSense ja Google AdSense - indeksoi Google-mainosverkoston sivustot.

Myös muut hakukoneet käyttävät useita erilaisia ​​robotteja, jotka ovat toiminnallisesti samanlaisia ​​kuin luetellut.