续前节

其实前面应该是对爬虫一些基础的解释和定义,相当于导论部分吧,下面应该会讲一些详细的Python相关的东西咯~


关于Python爬虫--—技能储备

1.Python基本语法

嗯,之前学过,要有一定的基础,暂时不表。

2.如何抓取页面

Pic - 1

很复杂的理论吧,其实很简单,一条命令,然后执行就可以抓取到了。然后就是数据处理咯。

3.解析服务器响应的内容

嗯,其实这一块就是数据的处理咯,比较复杂,一步步慢慢来呗。

Pic - 2

其实上面也就说的是通过不同的工具分析和处理数据,仅此而已~

4.怎么样能爬取到数据—***页 验证码的处理

4.1 ***页的采集

Pic - 3

嗯,乍一看很复杂,简单地说就是调用个库使用个新的函数就行,先不用想那么多

关键词 ajax相关***页   

4.2 验证码

Pic - 4

嗯,一个新的方法,关于机器学习,方法就是调用机器学习的库,执行对应的方法识别验证码。

5.Scrapy框架及特点

Pic - 5

6.分布式策略

Pic - 6 

关于怎么提升爬取数据的效率,异步分布式,提高效率

7.关于爬虫攻防

Pic - 7

未完待续  2019年10月16日22:36:03

剩余的在开一文吧  慢慢来呗~~