Python 爬虫简介 01


由于之前有自学研究过爬虫吧,所以视频就不怎么细看了,重新研究下对应的文档吧,这样也不算是浪费时间吧,而且能加深对Python程序的了解吧。

以上为引

爬虫 简介(Introduction)

1.简介

1.1 什么是爬虫

pic-1

简单来说,就是自动化的抓取网页的数据处理的工具。

PS:(包含存储到本地,或者进行进一步的处理和数据分析。)

1.2 为什么学习爬虫

Pic - 2

为啥呢?很简单啊,一个个的手动去处理网页的数据太慢,能用程序解决的问题用程序不是真的很方便么~~~

1.3 网络爬虫的组成

Pic - 3

感觉他这讲的应该就是一些大型数据爬虫处理的方式,感觉对于我来说用不到。当理论看看就行。

1.4 爬虫的设计思路

1.4.1~1.4.3   爬虫的设计思路 前三步 

关于怎么提取网页中的有效数据:

首先 网页上只要能看到的数据就一定能被自己提取出来

因为在数据层面上,该数据已经通过网络协议传输到本地,然后就是通过数据处理将需要的数据筛选出来,这个到下面再说吧~

1.4.4   为啥选择Python做爬虫

Pic - 3

嗯,不为啥,其他基本不会或者是学过已经不会用了,很简单~

关键词发掘与解析(其他看不懂的语法词汇忽略):

多线程  异步与同步   代码重构   


未完待续  其他的后面在说吧  不然文档就太长了~

2019年10月16日21:55:08