Robots.txt Generator

Robots.txt Generator

Padrão - todos os robôs são:	Permitido Recusou
Atraso de rastreamento:	Padrão - sem atraso 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mapa do site: (deixe em branco se você não tiver)
Robôs de pesquisa:	Google	O mesmo que o padrão Permitido Recusou
	Google Image	O mesmo que o padrão Permitido Recusou
	Google Mobile	O mesmo que o padrão Permitido Recusou
	MSN Search	O mesmo que o padrão Permitido Recusou
	Yahoo	O mesmo que o padrão Permitido Recusou
	Yahoo MM	O mesmo que o padrão Permitido Recusou
	Yahoo Blogs	O mesmo que o padrão Permitido Recusou
	Ask/Teoma	O mesmo que o padrão Permitido Recusou
	GigaBlast	O mesmo que o padrão Permitido Recusou
	DMOZ Checker	O mesmo que o padrão Permitido Recusou
	Nutch	O mesmo que o padrão Permitido Recusou
	Alexa/Wayback	O mesmo que o padrão Permitido Recusou
	Baidu	O mesmo que o padrão Permitido Recusou
	Naver	O mesmo que o padrão Permitido Recusou
	MSN PicSearch	O mesmo que o padrão Permitido Recusou
Diretórios restritos:	O caminho é relativo ao root e deve conter uma barra final "/"

Agora, crie o arquivo 'robots.txt' no seu diretório raiz. Copie o texto acima e cole no arquivo de texto.

Sobre Robots.txt Generator

Generate a customized robots.txt file to guide search engine crawlers and improve indexing.