Maintenant, créez le fichier "robots.txt" dans votre répertoire racine. Copiez le texte ci-dessus et collez-le dans le fichier texte.
Generate a customized robots.txt file to guide search engine crawlers and improve indexing.