我伸手想要抓住的东西总是逃走了。
最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于那些不必要的蜘蛛,时不时来抓取我们的网站,要不要屏蔽掉呢?