2.1.1 HTTP基本原理

URI ：统一资源标志符
URL ：统一资源定位符

URI 包括 URL + URN（统一资源名称）p77

在目前的互联网中，URN用得非常少，所以几乎所有的URI都是URL

一般的网页链接我们既可以称为URL，也可以称为URI

URL/URI 访问协议+访问路径+（资源名称）

2.1.2 超文本

超文本：网页的源代码HTML就可以称作超文本

2.1.3 HTTP和HTTPS

HTTP : 超文本传输协议
HTTPS: 以安全为目标的HTTP通道

2.1.4 HTTP请求过程

我们在浏览器输入一个URL，会车之后会在浏览器中观察到页面的内容。
1。浏览器向网站所在的服务器发送了一个请求
2。服务器收到后对请求进行处理和解析
3。返回对应的响应（解析出来的，包含页面源代码等内容），接着传回浏览器
4。浏览器再对其进行解析，使网页呈现出来

以Chrome浏览器的开发者模式下的Network监听组件为例：

右键并选择"检查" -> 选择Network

其中各列的含义 ：

第一列Name： 请求的名称，一般会将URL的最后一部分作为名称

第二列Status： 响应的状态吗，显示为200代表响应是正常的。
通过状态码，我们可以判断发送了请求之后是否得到了正常的响应

第三列Type： 请求的文档类型。
document:代表请求的是一个HTML文档，内容是一些HTML代码

第四列Initiator：请求源。用来标记请求是由哪个对象或进程发起的。

第五列Size： 从服务器下载的文件和请求资源的大小。
如果是从缓存中取得的资源，则该列会显示from cache

第六列Time： 发起请求到获得响应所用的总时间

第七列Waterfall：网络请求的可视化瀑布流

点击name条目查看详细信息：

1.General
(1)Request URL -> 请求的URL
(2)Request Method -> 请求的方法
(3)Status Code -> 响应的状态码
(4)Remote Address -> 远程服务器的地址和接口
(5)Referrer Policy -> 判别策略

2.Response Headers + Request Headers -> 分别是 响应头 + 请求头

2.1.5 请求

（一）请求方法

常见的两种请求方式：GET 和 POST

GET请求：请求的参数会直接包含在URL里面
例如：在百度中搜索Python，链接为：https://www.baidu.com/s?wd=Python
其中URL包含了请求的参数信息（这里wd表示要搜寻的关键字）

POST请求：其数据类型通常以表单的形式传输，而不会体现在URL中，会出现在请求体中（下面的四）
只有设置content-type为application/x-www-form-unlencoded，才会以表单数据的形式提交

GET请求提交的数据最多只有1024字节，而POST方式没有限制

更多的请求方法：head、put、delete、connect、options、trace（p82)

（二）请求的网址

即URL -> 可以唯一确定我们想请求的资源

（三）请求头

Accept：请求报头域，用于指定客户端可接受哪些类型的信息

Accept-Language：指定客户端可接受的语言类型

Accept-Encoding：指定客户端可接受的内容编码

Host：用于指定请求资源的主机IP和端口号，其内容为请求URL的原始服务器或网关的位置

Cookie/Cookies：主要功能是维持当前访问会话
Cookies里有信息标识了我们所对应的服务器的会话，每次浏览器在请求该站点的页面时，都会在请求头中加上cookies识别是我们自己，
并且查出当前状态是登陆状态，所以返回结果就是登陆之后才能看到的网页内容

Referer：此内容用来标识请求是从哪个页面发过来的。
服务器可以拿到这一信息并做相应的处理，如做来源统计、防盗链处理等

User-Agent：简称（UA），是一个特殊的字符串头
可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。
在做爬虫时加上此信息，可以伪装为浏览器，如果不加，很可能会被识别出为爬虫。

Content-Type：（互联网媒体类型或者MIME类型）
在HTTP协议消息头中，它用来具体请求中的媒体类型信息
例如：text/html -> 代表HTML格式
image/GIF -> GIF图片
application/json -> JSON类型
更多关系：http://tool.oschina.net/commons

（四）请求体

请求体一般承载的内容是POST请求中的表单信息，而对于GET请求，请求体为空。
(后面会多一个Form Data)

content-type和post提交数据方式的关系（p84）

在爬虫中，如果要构造post请求，需要使用正确的content-type，并了解各种请求库的各个参数设置时使用的是哪种content-type，不然会导致post提交后无法正常运行

2.1.6 响应

响应，由服务器返回给客户端，可以分为三部分：响应状态码，响应头，响应体

（一）响应状态码

响应状态码表示服务器的响应状态：
200 代表服务器正常响应
404 代表页面未找到
500 代表服务器内部发生错误
······

常见的错误代码及原因（p85）

（二）响应头

date：标识响应产生的时间 -> GMT（中时区时间） -> 北京时间 = GMT时间 + 8h

last-modified：指定资源的最后修改时间

content-encoding：指定响应内容的编码

server（服务期）：包含服务器的信息，比如名称，版本号······

content-type：文档类型，指定返回的数据类型是什么

set-cookie：设置cookies。
响应头中的set-cookie告诉服务器需要将此内容放在cookies中，下次请求携带cookies请求

expires（失效）：指定响应的过期时间，可以是代理服务期或浏览器将加载的内容更新到缓存中。
如果再次被访问，可以直接从缓存中加载，降低服务期负载，缩短加载时间。

（三）响应体

最重要的当属响应体的内容了。

响应的正文数据都在响应体中，比如 请求网页时，它的响应体就是网页的HTML代码；
请求一张图片时，它的响应体就是图片的二进制数据。

我们做爬虫请求网页后，要解析的内容就是响应体。

在浏览器开发者工具中点击preview(预演，预告)，就可以看到网页的源代码，也就是响应体的内容，他是解析的目标