- 积分
- 274
- 鸿鹄币
- 个
- 好评度
- 点
- 精华
- 注册时间
- 2020-3-9
- 最后登录
- 1970-1-1
- 阅读权限
- 30
- 听众
- 收听
初级工程师
|
今天周杰伦第15张专辑《最伟大的作品》先行曲MV发布,很多的杰迷期待已久,终于盼望来了。在5日上午,QQ音乐、酷狗、酷我音乐等已经开启了周杰伦新专辑《最伟大的作品》预约通道。仅仅16小时,在QQ音乐平台这张新专辑的预约人数就突破500万,在各大音乐平台中专辑预约历史人次也是TOP1歌手,不愧是乐坛天王,真的堪称地表最强!
爱听音乐的朋友都知道,要听周董的很多歌曲都需要付费,唉,付费啊,对于有些价格敏感性消费者真来说真是挺难的。好在小编会爬虫技术,今天就给大家分享下如何使用python爬虫技术获取周董的那些付费歌曲。这里我们就以qq音乐为数据来源:https://y.qq.com/,在进行数据爬取前需要先分析下网站。qq音乐的反爬不是很严,所以我们在爬取过程中只需要加上代理IP就足够。代理的添加很多的朋友不是熟悉或不知道如何选择好用的代理,这里推荐大家使用亿牛云代理的隧道代理,使用简单,很适合新手项目。简单的使用过程如下:
- #! -*- encoding:utf-8 -*-
- import requests
- import random
- # 要访问的目标页面
- targetUrl = "http://httpbin.org/ip"
- # 要访问的目标HTTPS页面
- # targetUrl = "https://httpbin.org/ip"
- # 代理服务器(产品官网 www.16yun.cn)
- proxyHost = "t.16yun.cn"
- proxyPort = "31111"
- # 代理验证信息
- proxyUser = "username"
- proxyPass = "password"
- proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
- "host" : proxyHost,
- "port" : proxyPort,
- "user" : proxyUser,
- "pass" : proxyPass,
- }
- # 设置 http和https访问都是用HTTP代理
- proxies = {
- "http" : proxyMeta,
- "https" : proxyMeta,
- }
- # 设置IP切换头
- tunnel = random.randint(1,10000)
- headers = {"Proxy-Tunnel": str(tunnel)}
- resp = requests.get(targetUrl, proxies=proxies, headers=headers)
- print resp.status_code
- print resp.text
复制代码
数据爬取并不是很难,重要的是我们要学会分析网站,根据不同网站的反爬措施能有应对策略。爬取到的歌词我会整理成文档,有需要的伙伴可以留言私发你们呀。
|
|