帮助中心

汇集使用技巧,一分钟上手动态IP,赢在大数据时代,从这里开始。

当前位置:帮助中心>最新资讯

系统是如何识别爬虫代理的?

系统是如何识别爬虫代理的?

  一、反向探测技术

  扫描IP是不是开通了80,8080等代理服务器经常开通的端口,显然一个普通的用户IP不太可能开通如上的端口。

  二、HTTP头部的X_Forwarded_For

  开通了HTTP代理的IP可以通过此法来识别是不是代理IP;如果带有XFF信息,该IP是代理IP无疑。

  三、Keep-alive报文

  如果带有Proxy-Connection的Keep-alive报文,该IP毫无疑问是代理IP。

  四、查看IP上端口

  如果一个IP有的端口大于10000,那么该IP大多也存在问题,普通的家庭IP开这么大的端口几乎是不可能的。

  这四种代理IP检测的方法几乎都是公开的,一些大公司为了避免恶意IP还会采取其他方法。比如利用网络爬虫爬取代理IP并作以标记,更有甚者,会通过业务建模收集恶意IP,然后再通过协议扫描的方式来判断这些IP是不是代理IP。

  以上就是系统识别代理IP的方法,希望对你有所帮助。



在线咨询
微信号

微信号

回到顶部