ROBOTS

[verturin]

Bonjour

Existe il un fichier robots.txt type pour les forum.
Afin d’être référencé sur Google ?

Merki

Fred

[Fred]

Je ne connais pas de fichier robots.txt type.
Un fichier robots.txt indique aux moteurs de recherche où ils peuvent et ne peuvent pas accéder sur ton forum. Par contre tu peux t'en passer en terme de référencement.

Principalement, il répertorie tout le contenu que vous souhaitez verrouiller hors des moteurs de recherche comme Google. Tu peux également indiquer à certains moteurs de recherche (et non à Google) comment ils peuvent explorer le contenu autorisé.
Important
La plupart des moteurs de recherche sont obéissants. Ils n’ont pas l’habitude de casser une entrée. Cela dit, certains n'hésitent pas à choisir quelques verrous métaphoriques.

Google ne fait pas partie de ces moteurs de recherche. Ils obéissent aux instructions d'un fichier robots.txt.

Il faut savoir que certains moteurs de recherche l'ignorent complètement.
À quoi ressemble un fichier robots.txt ?

Voici le format de base d'un fichier robots.txt :

Code: Tout sélectionner

Sitemap: [URL du sitemap]

User-agent: [bot identifier]
[directive 1]
[directive 2]
[directive ...]

User-agent: [another bot identifier]
[directive 1]
[directive 2]
[directive ...]

Si tu n'as jamais vu l’un de ces fichiers auparavant, cela peut paraître intimidant. Cependant, la syntaxe est assez simple. En bref, tu attribues des règles aux robots en indiquant leur user-agent suivi de directives.


Agents utilisateurs

Chaque moteur de recherche s'identifie avec un agent utilisateur différent. Tu peux définir des instructions personnalisées pour chacun de ces éléments dans ton fichier robots.txt.
Il existe des centaines d'agents utilisateurs, mais en voici quelques-uns utiles pour le référencement :

• Google : Googlebot

• Google Images : Googlebot-Image

• Bing : Bingbot

• Yahoo : Slurp

• Baidu : Baiduspider

• DuckDuckGo : DuckDuckBot

Tous les user-agents sont sensibles à la casse dans le fichier robots.txt. Tu peux également utiliser le caractère générique étoile (*) pour attribuer des directives à tous les agents utilisateurs.

Par exemple, supposons que tu veux empêcher tous les robots, à l'exception de Googlebot, d'explorer ton forum.
Voici comment procéder :

Code: Tout sélectionner

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

Sache que ton fichier robots.txt peut inclure des directives pour autant d'agents utilisateurs que tu le souhaite. Cela dit, chaque fois que tu déclares un nouvel agent utilisateur, il agit comme une table rase. En d’autres termes, si tu ajoutes des directives pour plusieurs agents utilisateurs, les directives déclarées pour le premier agent utilisateur ne s’appliquent pas au deuxième, au troisième ou au quatrième, et ainsi de suite.

L'exception à cette règle est lorsque tu déclares le même user-agent plus d'une fois. Dans ce cas, toutes les directives pertinentes sont combinées et suivies.
Important
Les robots d'exploration ne suivent que les règles déclarées sous le(s) user-agent(s) qui s'appliquent le plus précisément à eux. C'est pourquoi le fichier robots.txt ci-dessus empêche tous les robots, à l'exception de Googlebot (et d'autres robots Google), d'explorer le site. Googlebot ignore la déclaration user-agent moins spécifique.
https://developers.google.com/search/do ... ntro?hl=fr

[verturin]

Merci pour les infos