等OC的小菜鸟

Crawler

Algorithm(20) C++(3) ELK(7) Git(1) JavaScript(1) JAVA高级(8) Linux(6) Little Tips(8) SQL(4) Vue(1) 项目记录(3)

/ 注册

全部文章 / Crawler （共1篇）

WebMagic使用小结

WebMagic使用小结一、总体架构 WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scap...

WebMagic SpringBoot 爬虫

2020-04-11

0 872