Genereaza fisierul citit de robotii de cautare Googlebot, MSNbot, Yahoo, etc. :robots.txt

Pentru indexarea unui site, motoarele de cautare folosesc anumite aplicatii care inspecteaza in mod automat siteul respectiv. Aceste aplicatii se numesc web crawlers / web spiders / web robots. In general, aceste aplicatii incearca pentru inceput sa acceseze din radacina domeniului fisierul "robots.txt". In acest fisier, dezvoltatorul siteului poate mentiona ce crawlere au voie sa inspecteze siteul si ce zone ale siteului pot fi indexate pentru motorul de cautare.

Pentru siteurile care contin mai multe subdomenii, trebuie ca fiecare subdomeniu sa contina in radacina un fisier "robots.txt".

ATENTIE: atat sintaxa fisierului cat si numele acestuia sunt case sensitive.

Daca doriti sa folositi aceasta aplicatie, puteti sa introduceti in pagina dvs acest cod:

<iframe src="http://www.wikitools.ro/indexmute.php?action=robots" frameborder=0 height=180 width=680> </iframe>