Miksi sivut jätetään haun ulkopuolelle. URL-osoitteiden poistaminen Googlen ja Yandexin hakutuloksista

Kuinka poistaa sivu hakukoneen hakemistosta ja miksi se on tarpeen? Tässä artikkelissa tarkastelemme kaikkia vaihtoehtoja ja vastaamme usein kysyttyihin kysymyksiin.

Miksi sivu(t) poistetaan hakemistosta?

Sivun tai sivujen poistamiseen hakemistosta voi olla monia syitä. Yleisimmät ovat:

Sivu on kopio (esimerkiksi sivut site.ru/cat/stranica.html ja site.ru/cat/stranica voivat olla kaksoiskappaleita). Ja kuten kaikki tietävät, hakemiston kaksoiskappaleet ovat paha, joka vahingoittaa sivustoa kokonaisuutena.
Sivu on lakannut olemasta (esimerkiksi tiedoilla ei ole enää merkitystä).

Kuinka kauan kestää, että sivu poistetaan hakemistosta?

Poiston nopeus ei riipu meistä. Maksimikausi jossain 60...90 päivää. Keskimääräinen poistoaika on kokemukseni mukaan noin 25...35 päivää. Jos määritämme manuaalisesti Yandex Webmaster -paneelin kautta tai Googlen verkkovastaavat että sivu on poistettava, prosessi on nopeampi. Tärkeintä tässä on, että hakurobotti menee sivuston kielletylle sivulle ja sitten hakemistoa päivittäessään sulkee sen pois tuloksista.

Tapoja poistaa sivu hakemistosta

Alla käsitellyissä vaihtoehdoissa sivu on olemassa (avoinna käyttäjille), mutta hakukonehakemistossa poistamme sen käytöstä (poistamme sen).

1. Sisällönkuvauskentän kautta

On kätevää estää sivujen indeksointi robots.txt-tiedoston avulla, koska voit välittömästi määrittää koko osion massalla tai estää ryhmää samankaltaisia sivuja indeksoinnin. kuitenkin hakukoneet he sanovat selvästi, mikä on heille robots tiedosto ei ole pakollinen toteutuksen kannalta. Nuo. hakukone voi teoriassa jättää hakemistoon dokumentin, joka on suljettu roboteissa. Totta, en tiedä tällaisia esimerkkejä.

3. Hakukoneiden verkkovastaavan paneelin kautta

Sekä Yandexillä että Googlella on tämä vaihtoehto verkkovastaavan paneelissa. Jos kuitenkin poistat sivun tällä tavalla, sinun on ymmärrettävä, että sivu on ensin suljettava jollakin yllä kuvatuista menetelmistä, muuten mitään ei tapahdu. Tällaisella poistamisella vain vihjaamme hakuroboteille, että heidän tulisi ehdottomasti käydä näillä sivuilla seuraavassa indeksoinnissa.

3.1. Yandexin verkkovastaavan paneeli

Sivun osoite on http://webmaster.yandex.ru/delurl.xml. Kun olet päässyt tälle sivulle, sinun on yksinkertaisesti ilmoitettava lomakkeeseen sen sivun osoite, jonka haluat poistaa hakemistosta.

3.2. Googlen verkkovastaavan paneeli

Sivun osoite - https://www.google.com/webmasters/tools/. Päästäksesi vaadittavaan lomakkeeseen, valitse sivusto luettelosta (jos sinulla on useita sivustoja) ja valitse sitten "Google-hakemisto" -> "Poista URL-osoitteet" -välilehti.

Googlessa voit rekisteröidä heti URL-hakemiston (sama kuin robots.txt:ssä).

4. X-Robots-Tag Headers

Tätä menetelmää käyttää vain Google. Kieltomerkinnän tulee olla http-otsikoissa:

X-Robots-Tag : noindex, nofollow

5. Uudelleenohjauksen tai 404-virheen kautta

Voit myös poistaa sivun hakemistosta uudelleenohjauksen avulla tai palauttaa sivulta 404-virheilmoituksen. Tässä tapauksessa hakukoneet poistavat myös sivuja hakemistosta.

Tarkastelimme tärkeimpiä tapoja poistaa sivu hakemistosta. Kuten jo edellä kirjoitin, poistonopeus on erilainen kussakin tapauksessa. Mutta yksi asia on varma - se ei ole nopea. Joka tapauksessa se kestää vähintään 5-7 päivää.

Sivuston sivut voivat kadota Yandexin hakutuloksista useista syistä:

Virhe ladattaessa tai käsiteltäessä sivua robotilla – jos palvelimen vastaus sisälsi HTTP-tilan 3XX, 4XX tai 5XX. Työkalu auttaa sinua tunnistamaan virheen Tarkistetaan palvelimen vastausta .
Sivujen indeksointi on kielletty robots.txt-tiedostossa tai noindex-komennolla varustetun sisällönkuvauskentän käyttö.
Sivu ohjaa robotin muille sivuille.
Sivu kopioi toisen sivun sisällön.
Sivu ei ole kanoninen.

Robotti vierailee edelleen haun ulkopuolelle jätetyillä sivuilla, ja erityinen algoritmi tarkistaa niiden näkymisen todennäköisyyden hakutuloksissa ennen jokaista päivitystä hakukanta. Sivu voi siis ilmestyä haussa kahden viikon kuluessa siitä, kun robotti saa tiedon muutoksestaan.

Jos olet ratkaissut sivun poistamisen syyn, lähetä sivu uudelleenindeksoitavaksi. Tämä ilmoittaa robotille muutoksista.

Kysymyksiä ja vastauksia haun ulkopuolelle jätetyistä sivuista

Sisällönkuvauskentät Kuvaus, Avainsanat ja otsikko-elementti on täytetty oikein, sivu täyttää kaikki vaatimukset. Miksi hän ei ole etsinnässä?

Algoritmi tarkistaa sivuston sivuilta paitsi kaikkien tarvittavien tunnisteiden olemassaolon, myös materiaalin ainutlaatuisuuden, täydellisyyden, sen merkityksen ja merkityksen sekä monet muut tekijät. Samalla sinun tulee kiinnittää huomiota sisällönkuvauskenttään. Esimerkiksi, Kuvaussisällönkuvauskenttä ja otsikkoelementti voidaan luoda automaattisesti ja toistaa toisiaan.

Jos sivustolla suuri määrä Melkein identtiset tuotteet, jotka eroavat vain värin, koon tai kokoonpanon osalta, eivät myöskään välttämättä sisälly hakuun. Tähän listaan voit lisätä myös sivutus-, tuotevalikoima- tai vertailusivuja, kuvasivuja, joilla ei ole tekstin sisältö.

Sivut, jotka näkyvät poissuljetuina sivuina, avautuvat normaalisti selaimessa. Mitä se tarkoittaa?

Tämä voi tapahtua useista syistä:

Robotin palvelimelta pyytämät otsikot ovat erilaisia kuin selaimen pyytämät otsikot. Siksi poissuljetut sivut voivat avautua oikein selaimessa.
Jos sivu suljetaan pois hausta sen latausvirheen vuoksi, se katoaa poissuljettujen sivujen luettelosta vain, jos robotti tulee saataville uudesta pyynnöstä. Tarkista palvelimen vastaus sinua kiinnostavassa URL-osoitteessa. Jos vastaus sisältää HTTP-tilan 200 OK, odota, että robotti vierailee uudelleen.

"Poissuljetut sivut" -luettelo näyttää sivut, jotka eivät enää ole sivustolla. Miten ne poistetaan?

Sivut haussa -osiossa luettelossa Poissuljetut sivut, sivut, joita robotti käytti mutta ei indeksoi, näytetään (nämä saattavat jo olla olemattomia sivuja, jos robotti tunsi ne aiemmin).

Sivu poistetaan poissuljettujen luettelosta, jos:

se ei ole robotin käytettävissä jonkin aikaa;
siihen ei viitata muilla sivuston sivuilla tai ulkoisilla lähteillä.

Poissuljettujen sivujen läsnäolo ja määrä palvelussa eivät saa vaikuttaa sivuston sijoitukseen hakutuloksissa.

Sivujen poistaminen väliaikaisesti tuloksista Google haku

Tämän työkalun avulla voit väliaikaisesti estää verkkosivustosi sivuja näkymästä Googlen hakutuloksista. Lue, kuinka voit poistaa Google-hausta sivuja, jotka eivät kuulu sinulle.

Tärkeät muistiinpanot

Sivun väliaikaisen sulkeminen pois Googlen hakutuloksista

URL-osoitteen on oltava suhteessa Search Consolessa omistamaasi omaisuuteen. Jos näin ei ole, sinun on noudatettava muita ohjeita.
Vaihtaa URL-osoitteiden poistotyökalu.
Klikkaus Piilota tilapäisesti.
Täsmentää suhteellinen polku Vastaanottaja haluttu kuva, sivu tai luettelo. Ota huomioon seuraavat vaatimukset:
- Merkkien kirjainkoolla URL-osoitteissa on merkitystä. URL-osoite example.com/Sranitsa ja example.com/stranitsa eivät ole sama asia.
- Polun tulee viitata juurihakemisto resurssi Search Consolessa.
- Vaihtoehdot, joissa on etuliitteet http ja https sekä www-aliverkkotunnuksen kanssa ja ilman, tarkoittavat samaa asiaa. Jos siis puhumme osoitteesta example.com/stranitsa , niin:
  - https://example.com/stranitsa ei eroa toisistaan;
  - http://example.com/stranitsa ei eroa toisistaan;
  - https://www.example.com/stranitsa ei eroa toisistaan;
  - http://www.example.com/stranitsa ei eroa toisistaan;
  - http://m.example.com/stranitsa on erilainen. Aliverkkotunnukset m. & (kuten kaikki muutkin) tekevät URL-osoitteista epäjohdonmukaisia.
- Koko sivuston piilottaminen, älä osoita polkua seuraava askel Valitse vaihtoehto Tyhjennä välimuisti ja piilota väliaikaisesti kaikki URL-osoitteet, jotka alkavat....
Klikkaus Jatkaa.
Valitse vaadittava toimenpide alla luetelluista.
Klikkaus Lähetä pyyntö. Käsittely voi kestää jopa päivän. Emme takaa, että pyyntö täytetään. Tarkista pyyntösi tila. Jos se hylättiin, napsauta Lisätietoja nähdäksesi lisätietoja.
Lähettää lisäpyynnöt, joka osoittaa kaikki URL-osoitteet, jotka voivat avata saman sivun, sekä kirjainkoolla muutetut URL-muunnelmat, jos palvelimesi tukee niitä. Erityisesti seuraavat URL-osoitteet voivat osoittaa samalle sivulle:
- esimerkki.fi/omasivu
- esimerkki.fi/Oma Sivu
- esimerkki.fi/sivu?1234
Jos haluat poistaa URL-osoitteen pysyvästi hakutuloksista, lue seuraava jakso.

Poistettu pysyvästi

URL-osoitteiden poistotyökalun avulla voit poistaa vain sivuja hetkisen. Jos haluat poistaa sisältöä pysyvästi Googlen hakutuloksista, toimi seuraavasti:

Poista tai muuta sivuston sisältöä(kuvat, sivut, hakemistot) ja varmista, että palvelin palauttaa virhekoodin 404 (ei löydy) tai 410 (poistettu). Tiedostot, jotka eivät ole HTML-muodossa (kuten PDF), on poistettava kokonaan palvelimelta. Lisätietoja HTTP-tilakoodeista...
Estä pääsy sisältöön, esimerkiksi aseta salasana.
Estä sivun indeksointi käyttämällä noindex-sisällönkuvauskenttää. Tämä menetelmä on vähemmän luotettava kuin muut.

Peruuta URL-osoitteen poisto

Jos haluat palauttaa sivun hakutuloksiin ennen väliaikaisen eston päättymistä, avaa työkalun tilasivu ja napsauta Ota uudelleen käyttöön valmiin URL-osoitteen poistopyynnön vieressä. Pyyntösi käsittely voi kestää useita päiviä.

Työkalun käyttö muuhun kuin sen aiottuun tarkoitukseen

URL-osoitteiden poistotyökalu on tarkoitettu sisällön kiireelliseen estoon esimerkiksi tapauksissa, joissa arkaluonteisia tietoja on vahingossa paljastunut. Tämän työkalun käyttäminen muihin tarkoituksiin kuin sen aiottuun tarkoitukseen johtaa negatiivisia seurauksia verkkosivustollesi.

Älä käytä poistotyökalua tarpeettomia elementtejä , kuten vanhat sivut, joissa on 404-virheilmoitus. Jos olet muuttanut sivustosi rakennetta ja jotkin Googlen hakemiston URL-osoitteet ovat vanhentuneet, hakurobotteja havaitsee tämän ja indeksoi ne uudelleen, ja vanhat sivut suljetaan vähitellen pois hakutuloksista. Kiireellistä päivitystä ei tarvitse pyytää.
Älä käytä työkalua indeksointivirheiden poistamiseen Search Console -tilistäsi. Tämä ominaisuus estää osoitteiden näkymisen Googlen hakutuloksissa Google-tililläsi. URL-osoitetta ei tarvitse poistaa manuaalisesti. Ajan myötä ne suljetaan pois automaattisesti.
Älä käytä URL-osoitteen poistotyökalua, kun suunnittelet sivustosi kokonaan uudelleen alusta alkaen. Jos sivustoasi koskee manuaalinen toimenpide tai se ostettiin aiemmalta omistajalta, suosittelemme tarkistuspyynnön lähettämistä. Kerro meille, mitä muutoksia teit ja mitä ongelmia kohtasit.
Älä käytä työkalua sivuston "poistamiseen" sen jälkeen, kun se on hakkeroitu. Jos sivustosi on hakkeroitu ja haluat poistaa haitallista koodia sisältävät sivut hakemistosta, käytä URL-osoitteiden estotyökalua estääksesi hyökkääjän luomat uudet URL-osoitteet, kuten http://www.example.com/buy-cheap-cialis. -skq3w598.html. Emme kuitenkaan suosittele kaikkien sivuston sivujen tai niiden URL-osoitteiden estämistä, jotka on indeksoitava tulevaisuudessa. Poista sen sijaan vahingoittava koodi, kohteeseen Googlen robotit on saattanut indeksoida sivustosi uudelleen.
Älä käytä URL-osoitteen poistotyökalua sivustosi oikean "version" indeksointiin. Monista resursseista löytyy sama sisältö ja tiedostot eri URL-osoitteita. Jos et halua, että sisältösi toistuu hakutuloksissa, lue. Älä käytä URL-osoitteiden poistotyökalua URL-osoitteiden ei-toivottujen versioiden estämiseen. Tämä ei auta säilyttämään sivun ensisijaista versiota, mutta johtaa kaikkien URL-osoitteen versioiden poistamiseen (jossa on http- tai https-etuliitteet sekä www-aliverkkotunnuksen kanssa ja ilman).

Oliko tästä artikkelista apua?

Miten tätä artikkelia voidaan parantaa?

Hei ystävät! Toivottavasti teillä oli hauskaa toukokuun aikana: vierailit luonnossa, söit grillausta ja kävelit kukkivan luonnon ympärillä. Nyt meidän on palattava aktiivista työtä =) .

Tänään näytän tulokset yhdestä pienestä kokeilusta, joka koskee kaikkien verkkosivustojen sivujen poistamista Yandex- ja Google-hakukoneista. Hänen havainnoistaan on apua valittaessa yksi menetelmistä, joilla estetään koko resurssin tai sen yksittäisten osien indeksointi.

Minun edessäni oli tehtävä sulkea sivusto indeksointia varten menettämättä sen toimivuutta. Eli resurssin pitäisi toimia, mutta se on poistettava hakukoneen hakemistosta. Tietysti eniten oikea tapa vain poista projekti isännöinnistä. Asiakirjat antavat 404-virheen ja lopulta "poistuvat" hakukoneen tietokannasta. Mutta tehtäväni oli erilainen.

määrittää, mikä menetelmä indeksoinnin kieltämiseksi on hakukoneille ensisijainen;
tarkkaile nopeuden dynamiikkaa;
itse asiassa poistaa projekteja PS-tietokannoista.

Kokeeseen osallistui 2 kohdetta (kaikki yli vuoden ikäisiä). Ensimmäinen: Yandex-hakemistossa on 3000 sivua, Google - 2090. Toiseksi: Yandex - 734, Google - 733. Jos et poista resurssia isännöinnistä, on olemassa 2 suosittua vaihtoehtoa: sisällönkuvauskenttä name="robots" ja kielto robots.txt-tiedostossa.

Ensimmäisellä sivustolla jokaiselle sivulle lisättiin rivi:

Toista varten koottiin seuraava robots.txt:

Käyttäjä agentti: *
Estä: /

Kokeilu alkoi 14. joulukuuta ja jatkui toukokuun 9. päivään. Tiedot on otettu Yandex-päivityspäivien ympäriltä.

tuloksia

Alla on kaavioita indeksoitujen sivujen lukumäärän dynamiikasta. Ensinnäkin sivusto nro 1 (tagin meta name="robots" poistamismenetelmä).

Kuten näet, hakukoneet toimivat suunnilleen saman skenaarion mukaan. Mutta on myös eroja. Yandexissä resurssi poistettiin kokonaan helmikuun 10. päivänä, jolloin Googlella oli vielä 224 sivua jäljellä. Mitä voin sanoa, 5 kuukauden jälkeen on vielä 2 tusinaa asiakirjaa jäljellä. Google on erittäin herkkä indeksoiduille sivuille, eikä halua päästää niitä pois.

Sivusto nro 2 (tiedostojen estomenetelmä - robots.txt).

Tässä tilanne muuttui mielenkiintoisemmaksi. Yandex poisti nopeasti (alle kuukaudessa) kaikki sivut. Google heitti hakemistosta noin 100 dokumenttia kuukaudessa, sitten kuukauden kuluttua vielä 200 ja käytännössä jäätyi paikoilleen.

4. huhtikuuta kyllästyin odottamiseen ja vaihdoin kieltomenetelmän robots.txt:stä meta name="robotsiksi". Tämä kantoi hedelmää - kuukauden kuluttua Googlen tietokannassa oli enää 160 sivua. Suunnilleen sama määrä on säilynyt tähän päivään asti.

Vielä yksi huomionarvoinen seikka. Huolimatta siitä, että sivuja poistettiin hakemistosta melko pitkään, hakukoneiden liikenne alkoi laskea paljon nopeammin.

Osoittautuu, että PS ymmärtää, että verkkovastaava on kieltänyt resurssin tai sen asiakirjojen indeksoinnin, mutta jostain syystä he pitävät niitä edelleen siellä.

johtopäätöksiä

Yandex rakastaa lisää töitä robots.txt-tiedoston kanssa;
Google haluaa työskennellä meta name="robottien" kanssa. Koska Google ei todellakaan pidä robots.txt-tiedostosta, menetelmä tagilla on universaali. Et voi yhdistää menetelmiä, koska poistamalla resurssin käytöstä robots.txt-tiedostossa, etsi hämähäkki ei voi lukea meta name="robots" sääntöjä.
Runet Mirror poistaa asiakirjat riittävän nopeasti millä tahansa menetelmällä. Ulkomainen hakukone tekee tämän vastahakoisesti - sitä on erittäin vaikea saavuttaa täydellinen poisto tietokannasta.

Tässä pieni kokeilu. Kyllä, tietysti, otos on hyvin pieni, mutta se pystyi vahvistamaan oletukseni. Sovelluksen kannalta tätä voidaan käyttää, kun tietyt asiakirjat on suljettava indeksointia varten: robots.txt-tiedostossa on parempi käyttää meta name="robots"-komentoja.

Mitä havaintoja sinulla on tästä aiheesta? Jaa kokemuksesi kommenteissa!

Vapautimme uusi kirja"Sisältömarkkinointi sisään sosiaalisissa verkostoissa: Kuinka päästä tilaajiesi päähän ja saada heidät rakastumaan brändiisi."

Jokainen verkkovastaava saattaa tarvita ennemmin tai myöhemminpoista sivusto hakukoneesta tai poista yksi sivu . Vaikka asia saattaa tuntua yksinkertaiselta, syntyy joitakin komplikaatioita. Esimerkiksi kun napsautat "Poista" -painiketta verkkovastaavan paneelissa, Yandex saattaa vastata "poistoon ei ole perusteita". Mutta vain verkkovastaava voi hallita sivujen kohtaloa.

Selvitetään se.

Kuinka poistaa tarpeettomat sivut hausta?

Katsotaanpa ensin, miten sivusto pääsee hakuun.

Oletetaan, että loit verkkosivustosi, täytit sen sisällöllä ja optimoit sen. Odotat hakukonerobotin tulevaa indeksoimaan sivustosi. Sivuston skannaus tarkoittaa, että robotti tarkastelee sivustoasi ja muistaa karkeasti sanoen, mistä siinä on kyse. Kun sivusto on indeksoitu, se sisällytetään hakemistoon. Toisin sanoen indeksoitu sivusto päätyy hakukoneiden tuloksiin.

Jotta voit hallita sivustosi sivujen indeksointia, sinun on täytettävä seuraavat ehdot:

Olet rekisteröinyt sivustosi Yandex.Webmasteriin ja sinulla on pääsy Webmaster-paneeliin;
Sivustolla on robot.txt-tiedosto.

Siirry Yandex.Webmasteriin. Voit tehdä tämän kirjoittamalla hakuun Yandex Webmaster tai seuraamalla suoraa linkkiä.

Valitse Omat sivustot -välilehti. Jos sinulla on useampi kuin yksi, luettelo sivustoistasi tulee näkyviin. Valitse tästä haluamasi sivustopoista hausta

Oikealla olevasta liukupalkista löydämme "Poista URL" -linkin.

Kirjoita lomakkeeseen linkki sivulle ja napsauta "Poista". Yandex uskoo, että tiedät poistettavan sivun tarkan osoitteen. Oletetaan, että poisto tapahtuu syöttämäsi sivu ja siinä se. Mutta tämä ei aina toimi. Useimmiten tämä tapahtuu, koska lomakkeeseen syötetty URL-osoite ei vastaa haluamasi sivun osoitettapoista hausta Yandex.

Kuinka selvittää sivun tarkka URL-osoite?

Jotta voit selvittää sivuston kaikkien indeksoitujen sivujen osoitteet Yandexissa erityinen joukkue"isäntä". Hakupalkkiin sinun on kirjoitettava "host:site.ru". Sivusto – tähän kirjoitamme sivustosi osoitteen. Tämän komennon suorittamisen jälkeen näkyviin tulee luettelo syötetyn sivuston kaikista indeksoiduista sivuista.

Entä jos hakutuloksissa on enemmän sivuja kuin sivustolla on?

Jos hakutuloksissa on enemmän sivuja kuin sivustossasi on, se tarkoittaa, että joillakin sivuilla on kaksoiskappaleita – tämä on yksi yleisimmistä syistä. Tällaisten sivujen poistamiseen on kaksi ratkaisua:

Sulje robots.txt-tiedosto ja itse Yandex ajan myötäpoistaa tarpeettomia sivuja hausta. Mutta tämä voi kestää kauan.
Poista kaksoiskappaleet manuaalisesti.

Jotta sivun poistaminen Yandex-hausta käsin:

Siirrymme sivulle (kaksinkertainen).
Kopioimme hänen osoitteensa.
Siirry Yandex Webmasteriin.
Napsauta "Omat sivustot".
Valitse haluamasi sivusto.

Napsauta liukupalkissa "Poista URL" ja lisää sivun kaksoiskappaleen osoite lomakkeeseen.

Saatat nähdä seuraavanlaisen viestin:

Mitä tehdä tässä tapauksessa? Tämä viesti ilmaisee, että sivua ei ole estetty indeksoimasta robots.txt-tiedostossa tai että siinä ei ole noindex-parametria. Sulje se ja yritä uudelleen. Jos kaikki on tehty oikein, näet tällaisen viestin.

"URL-osoite on lisätty poistojonoon." On vaikea sanoa, kuinka kauan poistaminen kestää, se voi riippua sekä sivuston sivujen määrästä että itse Yandexistä.

Jaa tämä artikkeli: