Jag har en kodsnutt på min 404-sida som skickar information till min mail varje gång någon försöker nå en sida som inte finns. Iom detta har jag märkt att filen "robots.txt" i rotkatalogen till min domän ofta eftersöks. Vem söker efter denna filen, ska jag skapa en sådan? Och isåfall, vad ska jag skriva där?
Dessa IP eftersöker den:
209.249.67.142
66.196.65.11
66.196.65.16
66.196.65.17
216.239.46.86

http://www.google.com/intl/sv/faq.html#norobots

Tack så mycket!
Fick reda på ännu mer här: http://www.robotstxt.org/wc/norobots.html