Robots.txt

Wat is Robots.txt?

Een klein bestand op je website dat zoekmachines en AI-crawlers vertelt welke delen ze wel en niet mogen bezoeken.

Ook bekend als: robots

Robots.txtEen klein bestand zegt welke delen van een site zoekmachines wel en niet mogen bezoeken.robots.txtwelniet

Staat er per ongeluk een verbod in, dan leest een zoekmachineZoekmachine Een website waarmee je het internet doorzoekt, zoals Google of Bing. of AIAI Computerprogramma's die taken doen waar normaal menselijk denkwerk voor nodig is, zoals tekst schrijven of vragen beantwoorden. je site niet. Dat is een veelvoorkomende oorzaak van slechte vindbaarheid.