简单的java实现爬虫

suger7

最近由于工作的需要，独自开始研究爬虫爬取互联网数据，经过一段时间的探究，踩过许多坑，也学习到了许多以往不知道的知识。在这里总结一下经验，顺便分享给大家，希望可以帮助到有需要的朋友，当然如果有爬虫大佬能够不吝赐教那就更好啦。

大部分人都是使用的python来实现爬虫的，因为自己学的是java，也没更多时间去学习新的语言了，所以还是选择了用java来实现。本篇爬虫技术分享是用java来实现了爬取百度的搜索结果 ,java的使用如下：

1. import org.apache.commons.httpclient.Credentials;
   
2. import org.apache.commons.httpclient.HostConfiguration;
   
3. import org.apache.commons.httpclient.HttpClient;
   
4. import org.apache.commons.httpclient.HttpMethod;
   
5. import org.apache.commons.httpclient.HttpStatus;
   
6. import org.apache.commons.httpclient.UsernamePasswordCredentials;
   
7. import org.apache.commons.httpclient.auth.AuthScope;
   
8. import org.apache.commons.httpclient.methods.GetMethod;
   
9. 
   
10. import java.io.IOException;
    
11. 
    
12. public class Main {
    
13.     # 代理服务器(产品官网 www.16yun.cn)
    
14.     private static final String PROXY_HOST = "t.16yun.cn";
    
15.     private static final int PROXY_PORT = 31111;
    
16. 
    
17.     public static void main(String[] args) {
    
18.         HttpClient client = new HttpClient();
    
19.         HttpMethod method = new GetMethod("https://httpbin.org/ip");
    
20. 
    
21.         HostConfiguration config = client.getHostConfiguration();
    
22.         config.setProxy(PROXY_HOST, PROXY_PORT);
    
23. 
    
24.         client.getParams().setAuthenticationPreemptive(true);
    
25. 
    
26.         String username = "16ABCCKJ";
    
27.         String password = "712323";
    
28.         Credentials credentials = new UsernamePasswordCredentials(username, password);
    
29.         AuthScope authScope = new AuthScope(PROXY_HOST, PROXY_PORT);
    
30. 
    
31.         client.getState().setProxyCredentials(authScope, credentials);
    
32. 
    
33.         try {
    
34.             client.executeMethod(method);
    
35. 
    
36.             if (method.getStatusCode() == HttpStatus.SC_OK) {
    
37.                 String response = method.getResponseBodyAsString();
    
38.                 System.out.println("Response = " + response);
    
39.             }
    
40.         } catch (IOException e) {
    
41.             e.printStackTrace();
    
42.         } finally {
    
43.             method.releaseConnection();
    
44.         }
    
45.     }
    
46. }

复制代码

在学习的过程中我也遇到了一些网站的反爬机制，像User-Agent限制，限制IP访问次数，还有验证码等。这些反爬机制比较简单解决的也有很难解决的，像限制ip访问我们可以直接通过购买高质量代理ip来解决。比如示例里面使用的亿牛云爬虫代理。难度大就需要更深入的学习才能解决了。