等OC的小菜鸟

项目记录

Algorithm(20) C++(3) Crawler(6) ELK(7) Git(1) JavaScript(1) JAVA高级(8) Linux(6) Little Tips(8) SQL(4) Vue(1)

/ 注册

全部文章 / 项目记录（共1篇）

爬取模块(WebMagic)

爬取模块(WebMagic) 一、概述该项目的职位数据主要来自爬虫自动爬取，现已对拉勾网、51job等网站的职位、公司信息进行成功爬取。本爬虫模块采用的是WebMagic框架，使用HttpClient生成post请求，然后将爬取的信息筛选存储至MySQL数据库。其中souzhi-crawler...

MySQL WebMagic

2020-04-19

0 675