chain-thresh

python爬虫

ASP.NET(1) Web安全(2) 信息安全(5) 未归档(8) 疑难杂症(3)

/ 注册

全部文章 / python爬虫（共28篇）

python爬虫学习笔记(八)-数据提取之Beautiful Soup的使用

1. Beautiful Soup的简介 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful S...

2020-05-24

0 417

python爬虫学习笔记(七)-数据提取之正则表达式

1. 提取数据使用正则表达式提取数据正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式...

2020-05-24

0 543

python爬虫学习笔记(六)-Request库的用法

1. 介绍对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，需要学习一些更加高级的内容和工具来方便我们的爬取。关于requests 库的基本用法。 2. 安装利用 pip 安装 pip install requests 3. 基本请求 req = requ...

2020-05-18

0 568

python爬虫学习笔记(五)-URLError与Cookie

1. Cookie 为什么要使用Cookie呢？ Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Co...

2020-05-18

0 305

python爬虫学习笔记(四)-urllib库的高级用法

1. 伪装自己有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作 1.1 设置请求头其中User-Agent代表用的哪个请求的浏览器代码如下： from urllib.request import urlopen fr...

2020-05-18

0 317

python爬虫学习笔记(三)-爬取数据之urllib库

1. 小试牛刀怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分...

2020-05-18

0 910

python爬虫学习笔记(二)-工具的使用

1. 常用的工具 python pycharm 浏览器 chrome 火狐 fiddler 2 fiddler的使用 2.1 操作界面 2.2 界面含义请求 (Request) 部分详解名称 ...

2020-05-17

0 394

python爬虫学习笔记(一)-爬虫介绍

1. 什么是爬虫？网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据，比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，...

2020-05-17

0 1183