帮助中心

汇集使用技巧,一分钟上手动态IP,赢在大数据时代,从这里开始。

当前位置:帮助中心>最新资讯

Java利用代理IP发送HTTP请求

  大数据时代下,数据采集推动着数据分析,数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。

  下文中基于apache的httpclient 4.5.2,代理服务器存在用户名密码鉴权。

  首先,针对鉴权,我们需要设置身份验证,并根据配置的身份认证信息来创建一个httpclient。

  然后还要创建一个代理,并设置到请求信息中;。

  最后是运行请求。

  代码如下:

Java利用代理IP发送HTTP请求

  在执行测试中小编犯了几个很低级的错误,首先目标URL不可以是localhost/127.0.0.1,归因于这样其实代理服务器请求的是自身,可是由于代理服务器本地并没有部署对应服务,因此会返回失败,小编这里返回的是503错误。还有就是由于小编请求的代理是部署在存储器上的,假如用的是内网IP也是行不通的,因为无法找到那个IP,因此使用前要确认代理是部署在哪的。



在线咨询
微信号

微信号

回到顶部