网络爬虫

有些时候，我们可能不希望搜索引擎抓取网站。比如，网站仍在开发中，这时网站的内容还不完善，甚至包含错误的内容，就要禁止搜索引擎对网站内容进行索引。另外，我们希望禁止搜索引擎索引网站上…