前言

熟悉我的朋友可能会知道，我一向是不写热点的。为什么不写呢？是因为我不关注热点吗？其实也不是。有些事件我还是很关注的，也确实有不少想法和观点。但我一直奉行一个原则，就是：要做有生命力的内容。

本文介绍的内容来自于笔者之前负责研发的爬虫管理平台, 专门抽象出了一个相对独立的功能模块为大家讲解如何使用nodejs开发专属于自己的爬虫平台.文章涵盖的知识点比较多,包含nodejs, 爬虫框架, 父子进程及其通信, react和umi等知识, 笔者会以尽可能简单的语言向大家一一介绍.

你将收获

  • Apify框架介绍和基本使用

  • 如何创建父子进程以及父子进程通信

  • 使用javascript手动实现控制爬虫最大并发数

  • 截取整个网页图片的实现方案

  • nodejs第三方库和模块的使用

  • 使用umi3 + antd4.0搭建爬虫前台界面

平台预览