python爬虫进阶实践

suger7

现在这个时代，网络爬虫的价值就不多说了，Python 的便捷与强大有目共睹的，在这个数据泛滥、追求效率的时代，使用 Python 可以为我们创造相当多的便捷，Web 开发、桌面小工具开发、、大数据处理、图像处理、机器学习等等，能做到的事情实在太多。
对于大多数网站来说爬虫是有利的，而恶意的爬虫就适得其反了。正常来说我们想要获取某些网站数据应该通过他们的开放 API 进行合法授权访问，但是企业毕竟是企业，都是有所保留的开放 API 权限，所以有时候我们不得不使用暴力手段来洗劫有价值的数据，这也就是爬虫存在的一大价值。爬虫技术最核心的可能就是 HTTP 请求了，学会爬虫至少应该掌握 HTTP 的 POST 和 GET 请求方法，还有譬如通常至少要保证 User-Agent、Referer、Cookie 等的正确使用，还有一个重点就是代理IP的使用，封IP是很多网站最基本的反爬措施。代理的使用也不是很难，如果隧道代理的使用简单示例如下：

1. #! -*- encoding:utf-8 -*-
   
2. 
   
3.     import requests
   
4.     import random
   
5. 
   
6.     # 要访问的目标页面
   
7.     targetUrl = "http://httpbin.org/ip"
   
8. 
   
9.     # 要访问的目标HTTPS页面
   
10.     # targetUrl = "https://httpbin.org/ip"
    
11. 
    
12.     # 代理服务器(产品官网 www.16yun.cn)
    
13.     proxyHost = "t.16yun.cn"
    
14.     proxyPort = "31111"
    
15. 
    
16.     # 代理验证信息
    
17.     proxyUser = "username"
    
18.     proxyPass = "password"
    
19. 
    
20.     proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    
21.         "host" : proxyHost,
    
22.         "port" : proxyPort,
    
23.         "user" : proxyUser,
    
24.         "pass" : proxyPass,
    
25.     }
    
26. 
    
27.     # 设置 http和https访问都是用HTTP代理
    
28.     proxies = {
    
29.         "http"  : proxyMeta,
    
30.         "https" : proxyMeta,
    
31.     }
    
32. 
    
33. 
    
34.     #  设置IP切换头
    
35.     tunnel = random.randint(1,10000)
    
36.     headers = {"Proxy-Tunnel": str(tunnel)}
    
37. 
    
38. 
    
39. 
    
40.     resp = requests.get(targetUrl, proxies=proxies, headers=headers)
    
41. 
    
42.     print resp.status_code
    
43.     print resp.text

复制代码

示例里面的代理由亿牛云提供，一家专业做爬虫代理IP的，对代理IP方面有需求的可以直接选择他们家试试，产品质量有保证，售后服务也是非常好的。

zchzzz

123123123

zchzzz

234234234324324324

zchzzz

33333333333333333

zchzzz

1231

zchzzz

777777777

zchzzz

111111111111111

zchzzz

123123123

zchzzz

12312312