详情请参见 http://www.robotstxt.org/wc/norobots.html。在服务器上设置 robots.txt 文件便可阻止 Googlebot 或其它网页漫游器进入。Google 的网页漫游器有一个用户代理“Googlebot”。
另一种方法是在 HTML 网页上加 META 标签，这种方法在针对单个网页时更为方便。有关说明，请访问网页（英文）http://www.robotstxt.org/wc/exclusion.html#meta。您也可以参阅 HTML 标准中有关这些标签的内容。请注意，这两种方法都不能立即生效。而要等到 Google 下一次漫游时才能起作用。