AI-företag skannar webbplatser mot ägarnas önskningar

Webbplatser som inte vill bli indexerade av Google och andra sökmotorer har länge kunnat använda robots.txt-filer som talar om för robotarna att de inte är önskade. Det finns ingen lag som kräver det, men Google, Yahoo, Bing och andra har alltid följt denna

Läs mer här