前端开发爬虫首选puppeteer

suger7

很多前端同学可能对于爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如 python 、php 等。当然这是在 nodejs 前了，nodejs 的出现，使得 Javascript 也可以用来写爬虫了。但这是大数据时代，数据的需求是不分前端还是后端的，既然由于 nodejs 强大的异步特性，让我们可以轻松以异步高并发去爬取网站。

这里会有一个问题吗，那就是前端程序员如果要开发爬虫是使用python还是使用puppeteer呢？如果想快速开发爬虫，还是驱动浏览器的方式比较好，我推荐用puppeteer，纯js环境，上手快，puppeteer直接驱动无头浏览器速度并不算慢。但是现在目标网站爬虫策略多种多样，即使是使用最简单的方式也要学习反爬策略的应对。如果遇到验证码识别等需要深度学习的，可以用python写这部分，然后nodejs和python进程间通信。

这里我们可以使用puppeteer简单的实现下爬虫，就以获取微博热搜为例子进行实践。

1. // 引入process和puppeteer模块
   
2. const process = require("process");
   
3. const puppeteer = require("puppeteer");
   
4. 
   
5. // 定义代理地址、延时时间和延时函数
   
6. const PROXY = "http://www.16yun.cn:80"; // 代理服务器(产品 www.16yun.cn)可以修改这个代理地址
   
7. const SLEEP = 5000; // 你可以修改这个延时时间（毫秒）
   
8. const sleep = (ms) => new Promise((resolve) => setTimeout(resolve, ms));
   
9. 
   
10. // 定义一个异步函数view，接受一个URL和一个代理地址作为参数
    
11. async function view(url, proxy) {
    
12.   // 在view函数中，使用puppeteer.launch方法启动一个浏览器实例，并设置一些参数，如headless、ignoreHTTPSErrors、defaultViewport和args
    
13.   const browser = await puppeteer.launch({
    
14.     headless: true, // 设置为无头模式（不显示浏览器窗口）
    
15.     ignoreHTTPSErrors: true, // 忽略HTTPS错误
    
16.     defaultViewport: { width: 1280, height: 800 }, // 设置默认视口大小
    
17.     args: [`--proxy-server=${proxy}`], // 设置代理服务器地址
    
18.   });
    
19. 
    
20.   // 使用browser.newPage方法创建一个新的页面实例，并设置视口大小
    
21.   const page = await browser.newPage();
    
22.   await page.setViewport({ width: 1280, height: 800 });
    
23. 
    
24.   // 使用page.on方法监听request事件，如果请求的资源类型是media，并且请求的URL以https://video.twimg.com/开头，则打印出请求的URL
    
25.   page.on("request", (request) => {
    
26.     if (
    
27.       request.resourceType() === "media" &&
    
28.       request.url().startsWith("https://weibo.com//")
    
29.     ) {
    
30.       console.log(request.url());
    
31.     }
    
32.   });
    
33. 
    
34.   // 使用page.goto方法访问传入的URL
    
35.   await page.goto(url);
    
36. 
    
37.   // 使用page.click方法点击页面上选择器为.r-1ndi9ce > div:nth-child(1) > div:nth-child(1) > span:nth-child(1) > span:nth-child(1) 的元素
    
38.   await page.click(
    
39.     ".r-1ndi9ce > div:nth-child(1) > div:nth-child(1) > span:nth-child(1) > span:nth-child(1)"
    
40.   );
    
41. 
    
42.   // 使用sleep函数等待一段时间（SLEEP）
    
43.   await sleep(SLEEP);
    
44. 
    
45.   // 使用page.screenshot方法截取页面图片并保存为debug.png文件
    
46.   await page.screenshot({ path: "debug.png" });
    
47. 
    
48.   // 使用browser.close方法关闭浏览器实例
    
49.   await browser.close();
    
50. }
    
51. 
    
52. // 最后，在主程序中，获取命令行参数中的第一个参数作为URL，并调用view函数。
    
53. const url = process.argv[2]; // 获取命令行参数中的第一个参数作为URL
    
54. 
    
55. if (url) {
    
56.   view(url, PROXY);
    
57. } else {
    
58.   console.log("请输入一个有效的URL");
    
59. }

复制代码

puppeteer相当于python selenium 控制无头Chrome，作为前端程序员，那python虽然语法容易但毕竟学的也比较多，所以建议可以试试puppeteer。

yguomin

不错 学习了