1.爬虫原理与数据抓取

为什么要做网络爬虫?

首先请问:都说现在是"大数据时代",那数据从何而来?

网络爬虫是什么?

百度百科:网络爬虫

爬虫的更多用途

  • 12306抢票
  • 网站上的头票
  • 短信轰炸

关于Python网络爬虫,我们需要学习的有:

1. Python基础语法学习(基础知识)
2. 对HTML页面的内容抓取(数据抓取)
3. 对HTML页面的数据提取(数据提取)
4. Scrapy框架以及scrapy-redis分布式策略(第三方框架)
6. 爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争…