java爬虫之HtmlUnit介绍

suger7

前端有时候会遇到项目临时需要网上收集数据的情况，什么方案是简单易懂、长期可用的呢，当然是用浏览器终端测试单元做爬虫是最方便的啦，将平时工作中的测试程序进行简单的修改，然后配合爬虫代理，就可以马上开始数据采集，是不是很方便呀。

刚好之前也分享了一篇关于java爬虫的文章，那今天也是爬虫方面的知识，我们可以继续分享下java爬虫。不知道做学java的对HtmlUnit熟悉不呢？它是是java下的一款无头浏览器方案，通过相应的API模拟HTML协议，可以请求页面，提交表单，打开链接等等操作，完全模拟用户终端。支持复杂的JavaScript、AJAX库，可以模拟多种浏览器，包括Chrome，Firefox或IE等。

下面提供一个简单的demo，通过调用爬虫代理访问IP查询网站，如果将目标网站修改为需要采集的数据链接，即可获取相应的数据，再加上数据分析模块就可以基本使用，示例是根据实际项目需求写的，看下要复杂些：

1. import java.io.BufferedReader;
   
2. import java.io.InputStreamReader;
   
3. import java.io.IOException;
   
4. import java.net.URI;
   
5. import java.util.Arrays;
   
6. import java.util.ArrayList;
   
7. import java.util.HashSet;
   
8. import java.util.List;
   
9. import java.util.Set;
   
10. 
    
11. import org.apache.http.Header;
    
12. import org.apache.http.HeaderElement;
    
13. import org.apache.http.HttpHost;
    
14. import org.apache.http.auth.AuthScope;
    
15. import org.apache.http.auth.UsernamePasswordCredentials;
    
16. import org.apache.http.client.AuthCache;
    
17. import org.apache.http.client.CredentialsProvider;
    
18. import org.apache.http.client.HttpRequestRetryHandler;
    
19. import org.apache.http.client.config.RequestConfig;
    
20. import org.apache.http.client.config.AuthSchemes;
    
21. import org.apache.http.client.entity.GzipDecompressingEntity;
    
22. import org.apache.http.client.entity.UrlEncodedFormEntity;
    
23. import org.apache.http.client.methods.CloseableHttpResponse;
    
24. import org.apache.http.client.methods.HttpGet;
    
25. import org.apache.http.client.methods.HttpPost;
    
26. import org.apache.http.client.methods.HttpRequestBase;
    
27. import org.apache.http.client.protocol.HttpClientContext;
    
28. import org.apache.http.config.Registry;
    
29. import org.apache.http.config.RegistryBuilder;
    
30. import org.apache.http.conn.socket.ConnectionSocketFactory;
    
31. import org.apache.http.conn.socket.LayeredConnectionSocketFactory;
    
32. import org.apache.http.conn.socket.PlainConnectionSocketFactory;
    
33. import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
    
34. import org.apache.http.impl.auth.BasicScheme;
    
35. import org.apache.http.impl.client.BasicAuthCache;
    
36. import org.apache.http.impl.client.BasicCredentialsProvider;
    
37. import org.apache.http.impl.client.CloseableHttpClient;
    
38. import org.apache.http.impl.client.HttpClients;
    
39. import org.apache.http.impl.client.ProxyAuthenticationStrategy;
    
40. import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
    
41. import org.apache.http.message.BasicHeader;
    
42. import org.apache.http.message.BasicNameValuePair;
    
43. import org.apache.http.NameValuePair;
    
44. import org.apache.http.util.EntityUtils;
    
45. 
    
46. public class Demo
    
47. {
    
48.     // 代理服务器(产品官网 www.16yun.cn)
    
49.     final static String proxyHost = "t.16yun.cn";
    
50.     final static Integer proxyPort = 31000;
    
51. 
    
52.     // 代理验证信息
    
53.     final static String proxyUser = "username";
    
54.     final static String proxyPass = "password";
    
55. 
    
56. 
    
57. 
    
58. 
    
59.     private static PoolingHttpClientConnectionManager cm = null;
    
60.     private static HttpRequestRetryHandler httpRequestRetryHandler = null;
    
61.     private static HttpHost proxy = null;
    
62. 
    
63.     private static CredentialsProvider credsProvider = null;
    
64.     private static RequestConfig reqConfig = null;
    
65. 
    
66.     static {
    
67.         ConnectionSocketFactory plainsf = PlainConnectionSocketFactory.getSocketFactory();
    
68.         LayeredConnectionSocketFactory sslsf = SSLConnectionSocketFactory.getSocketFactory();
    
69. 
    
70.         Registry registry = RegistryBuilder.create()
    
71.             .register("http", plainsf)
    
72.             .register("https", sslsf)
    
73.             .build();
    
74. 
    
75.         cm = new PoolingHttpClientConnectionManager(registry);
    
76.         cm.setMaxTotal(20);
    
77.         cm.setDefaultMaxPerRoute(5);
    
78. 
    
79.         proxy = new HttpHost(proxyHost, proxyPort, "http");
    
80. 
    
81.         credsProvider = new BasicCredentialsProvider();
    
82.         credsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(proxyUser, proxyPass));
    
83. 
    
84.         reqConfig = RequestConfig.custom()
    
85.             .setConnectionRequestTimeout(5000)
    
86.             .setConnectTimeout(5000)
    
87.             .setSocketTimeout(5000)
    
88.             .setExpectContinueEnabled(false)
    
89.             .setProxy(new HttpHost(proxyHost, proxyPort))
    
90.             .build();
    
91.     }
    
92. 
    
93.     public static void doRequest(HttpRequestBase httpReq) {
    
94.         CloseableHttpResponse httpResp = null;
    
95. 
    
96.         try {
    
97.             setHeaders(httpReq);
    
98. 
    
99.             httpReq.setConfig(reqConfig);
    
100. 
     
101.             CloseableHttpClient httpClient = HttpClients.custom()
     
102.                 .setConnectionManager(cm)
     
103.                 .setDefaultCredentialsProvider(credsProvider)
     
104.                 .build();
     
105. 
     
106.             //设置TCP keep alive，访问https网站时保持IP不切换
     
107.             // SocketConfig socketConfig = SocketConfig.custom().setSoKeepAlive(true).setSoTimeout(3600000).build();
     
108.             // CloseableHttpClient httpClient =  HttpClients.custom()
     
109.             //    .setConnectionManager(cm)
     
110.             //    .setDefaultCredentialsProvider(credsProvider)
     
111.             //    .setDefaultSocketConfig(socketConfig)
     
112.             //    .build();
     
113. 
     
114. 
     
115.             AuthCache authCache = new BasicAuthCache();
     
116.             authCache.put(proxy, new BasicScheme());
     
117.             // 如果遇到407,可以设置代理认证 Proxy-Authenticate
     
118.             // authCache.put(proxy, new BasicScheme(ChallengeState.PROXY));
     
119. 
     
120.             HttpClientContext localContext = HttpClientContext.create();
     
121.             localContext.setAuthCache(authCache);
     
122. 
     
123.             httpResp = httpClient.execute(httpReq, localContext);
     
124. 
     
125.             int statusCode = httpResp.getStatusLine().getStatusCode();
     
126. 
     
127.             System.out.println(statusCode);
     
128. 
     
129.             BufferedReader rd = new BufferedReader(new InputStreamReader(httpResp.getEntity().getContent()));
     
130. 
     
131.             String line = "";
     
132.             while((line = rd.readLine()) != null) {
     
133.                 System.out.println(line);
     
134.             }
     
135.         } catch (Exception e) {
     
136.             e.printStackTrace();
     
137.         } finally {
     
138.             try {
     
139.                 if (httpResp != null) {
     
140.                     httpResp.close();
     
141.                 }
     
142.             } catch (IOException e) {
     
143.                 e.printStackTrace();
     
144.             }
     
145.         }
     
146.     }
     
147. 
     
148.     /**
     
149.      * 设置请求头
     
150.      *
     
151.      * @param httpReq
     
152.      */
     
153.     private static void setHeaders(HttpRequestBase httpReq) {
     
154. 
     
155.         // 设置Proxy-Tunnel
     
156.         // Random random = new Random();
     
157.         // int tunnel = random.nextInt(10000);
     
158.         // httpReq.setHeader("Proxy-Tunnel", String.valueOf(tunnel));
     
159. 
     
160.         httpReq.setHeader("Accept-Encoding", null);
     
161. 
     
162.     }
     
163. 
     
164. 
     
165.     public static void doGetRequest() {
     
166.         // 要访问的目标页面
     
167.         String targetUrl = "https://httpbin.org/ip";
     
168. 
     
169. 
     
170.         try {
     
171.             HttpGet httpGet = new HttpGet(targetUrl);
     
172. 
     
173.             doRequest(httpGet);
     
174.         } catch (Exception e) {
     
175.             e.printStackTrace();
     
176.         }
     
177.     }
     
178. 
     
179.     public static void main(String[] args) {
     
180.         doGetRequest();
     
181. 
     
182. 
     
183.     }
     
184. }

复制代码

示例参考来源于亿牛云，因之前的业务需求购买了代理，一直都还在使用。刚好分享这篇文章就一起分享给大家了，在代理方面有需求的可以试试他们家提供的隧道代理，是我使用众多代理商里面IP质量好，售后服务也最好的一家。代理的详细介

zchzzz

12312312