Robots.txt
Wat is Robots.txt?
Een klein bestand op je website dat zoekmachines en AI-crawlers vertelt welke delen ze wel en niet mogen bezoeken.
Ook bekend als: robots
Staat er per ongeluk een verbod in, dan leest een zoekmachineZoekmachine Een website waarmee je het internet doorzoekt, zoals Google of Bing. of AIAI Computerprogramma's die taken doen waar normaal menselijk denkwerk voor nodig is, zoals tekst schrijven of vragen beantwoorden. je site niet. Dat is een veelvoorkomende oorzaak van slechte vindbaarheid.
