导航首页 » 网站相关 » 怎么有效禁止虚假百度蜘蛛?赶紧围观
怎么有效禁止虚假百度蜘蛛?赶紧围观

网站相关

浏览541次 2022-11-05

我们在分析网站日志的时候,常常会发现一些莫名其妙的IP段,怎样分辨这些IP段是否为真正的百度蜘蛛呢?如果是虚假的百度蜘蛛我们能否进行禁止或者屏蔽呢?答案是可以的。

先来介绍怎样分辨真假百度蜘蛛;

首先,在网站日志中统计所有需要查询的IP地址;

其次,对于非苹果电脑用户,按住【windows+R】快捷键,打开“运行”,如下图 所示;

运行

第三,在“文本框”内输入“cmd”,然后按Enter键,或者单击“确定”按钮!单击Enter键之后打开如下的对话框;

运行界面

第四,在光标位置处输入nslookup 123.125.71.95,中间有一个空格;也可以先复制IP,然后在光标处右击,就会完成粘贴;IP输入完成后,按Enter就可以出现分析结果;从下图可以看出这个IP是真正的百度蜘蛛。

分辨真假百度蜘蛛

通过此方法,我们还可以发现谷歌蜘蛛、360蜘蛛、搜狗蜘蛛、神马蜘蛛等。分辨真正百度蜘蛛的方法还有很多,大家可以自己百度一下并实操。如果你不想让某一个或某几个虚假百度蜘蛛爬取你网站的内容,我们就可以禁止或屏蔽这些IP,怎样屏蔽呢?有2种方法。

第一种方法:从服务器的防火墙上屏蔽IP,不过爬虫通常有很多IP,我们可以屏蔽爬虫的IP段;但是如果爬虫的IP段没有规律,那此种方法就不适用了。

第二种方法;.htaccess屏蔽虚假百度蜘蛛。有一些虚假的百度爬虫并不遵守robots规则,那我们还可以通过.htaccess来屏蔽它,代码如下:

htaccess屏蔽虚假蜘蛛访问

上图中htaccess屏蔽蜘蛛的方法是一种比较简单的方法,还有其他的一些方法可以使用,感兴趣的小伙伴可以尝试一下。


文章分类
文章推荐