等OC的小菜鸟

Crawler

Algorithm(20) C++(3) ELK(7) Git(1) JavaScript(1) JAVA高级(8) Linux(6) Little Tips(8) SQL(4) Vue(1) 项目记录(3)

/ 注册

全部文章 / Crawler （共2篇）

WebMagic使用小结

WebMagic使用小结一、总体架构 WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scap...

WebMagic SpringBoot 爬虫

2020-04-11

0 1083

Java基础爬虫

1、请求获取链接 1.1 URL.openConnection() 返回一个URLConnection对象，他表示URL所引用的远程对象的链接。 1.2 URL.openStream() 返回URL链接读入的输入流，打开到此 URL 的连接并返回一个用于从该连接读入的 InputStream 可能形...

爬虫

2019-10-17

0 560