Zurück zum Glossar
Webhosting-Glossar

robots.txt

Datei, die Crawlern mitteilt, welche Seiten indexiert werden dürfen.

Verwandte Begriffe

Entdecken Sie verbundene Anleitungen und Tools