Hoe om 'n webwerf of sy fragmente van die Google-indeks verwyder

Volgens die kruip konsep deur die Google aangeneem, verantwoordelik vir volledigheid, objektiwiteit van die inligting en die ooreenstemming met die soektog in die uitreiking van die uitslae. As die indeks val webwerf met onwettige inhoud, of hulpbron vir spam, die bladsye van hierdie webwerf sal nie in die gemeenskaplike databasis soektog gemerk. Dit is vir ons belangrik om te leer hoe om 'n webwerf te verwyder uit die uitreiking van die uitslae van die soek-bediener.

Variante van nul kruip Google

Sodra die soektog robot - 'n program om inligting oor nuwe hulpbronne in te samel - sal die webwerf bladsy scan deur bladsy, dan, wanneer onder vereistes Google beleid vir ontleding, dit sal geïndekseer. Maar ons wys jou ook hoe om jou webwerf of fragmente te verwyder vir die soekenjins deur 'n robots.txt - indeks en soek tegelykertyd stop.

Om uit die uitreiking van die hulpbron as 'n geheel te sluit, in die hoofdmap van die bediener waarop die webwerf is geleë, skep 'n sekere teks area - het gesê robots.txt. Hierdie sone is behandel met die soekenjins en optree volgens die instruksies te lees.

Hou in gedagte dat die soektog op Google kruip die bladsy, selfs as 'n gebruiker toegang het om te sien verban. Wanneer die leser reageer met 401 of 403 "Toegang is ongeldig", dit geld slegs vir besoekers, eerder as om programme wat versamel vir hierdie soektog.

Om te verstaan hoe om te verwyder die terrein van die soektog kruip, moet 'n teks wyser die volgende reëls in te voer:

Gebruiker-agent: Googlebot

Disallow: /

Dit dui aan die kruiper indeks die verbod op alle inhoud op die webwerf. Hier is hoe om 'n webwerf te verwyder Google, sodat laasgenoemde die hulpbron nie kas in die lys van opgespoor.

Belichaming van skandering vir verskillende protokolle

As jy nodig het om 'n lys van individuele kommunikasie standaarde, waarvoor jy wil spesiale reëls geld vir kruip die Google, byvoorbeeld, afsonderlik vir hiperteks protokolle http / https, is dit ook nodig om te registreer in die robots.txt in die volgende manier (byvoorbeeld).

(Http://yourserver.com/robots.txt) - 'n domein naam van jou webwerf (enige)

Gebruiker-agent: * - 'n soektog

Laat: / - laat vol indexatie

Hoe om 'n webwerf te verwyder uit die kwessie heeltemal aan die HTTPS-protokol

(Https://yourserver.com/robots.txt):

Gebruiker-agent: *

Disallow: / volledige verbod op kruip

Versnelde verwydering URL-hulpbron adresse van Google SERPs

As jy nie wil hê om te wag vir re-indexatie, en die webwerf wat jy wil wegsteek soos ek beveel om die diens http://services.google.com/urlconsole/controller gou as moontlik. Pre robots.txt het in die hoofdmap van die webwerf bediener geplaas moet word. Dit moet voorgeskryf word toepaslike instruksies.

As die wyser vir een of ander rede nie kan geredigeer word in die hoofdmap, skep dit genoeg in die gids met teikens waarvoor jy wil om weg te steek van die soekenjins. Sodra jy dit doen en verwys na die diens outomaties die verwydering van hiperteks adresse, sal Google nie dopgehou wat uitgespel n fout in die robots.txt scan.

Die tydperk van hierdie onsigbaarheid is ingestel vir 3 maande. Na hierdie tydperk, sal die van uitgawe onttrek gids, weer verwerk deur Google-bediener.

H oe om 'n webwerf te gedeeltelik scan verwyder

Wanneer 'n soektog bot is die lees van die inhoud van robots.txt, is dat sekere besluite wat geneem is op grond van die inhoud daarvan. Kom ons sê jy wil vertoon die hele gids genoem, plaasvind om uit te sluit. Dit is genoeg om sulke regulasies voorskryf:

Gebruiker-agent: Googlebot

Disallow: / Anatomiese

Of, byvoorbeeld, jy wil nie indeks van alle vorme beeld Gif-lêers. Om dit te doen, voeg die volgende lys:

Gebruiker-agent: Googlebot

Disallow: /*.gif$

Hier is nog 'n voorbeeld. Laat hulle uit die ontleding van inligting op dinamiese gegenereerde bladsye verwyder word, terwyl dit by die tipe indeks ingang:

Gebruiker-agent: Googlebot

Disallow: / *?

Dit is oor en uitspel die reëls vir die soek enjins. Nog 'n ding is dat dit baie meer gerieflik om net gebruik hierdie metatag. En webmasters gebruik dikwels net so 'n standaard regulering van die bedryf van soekenjins. Maar ons sal dit in die toekoms artikels bespreek.