requsts库
BeautifulSoup库
正则表达式

1.爬取图片——周二珂女神的头像

import requests
url = 'http://tvax2.sinaimg.cn/crop.12.0.1218.1218.180/71e28d79ly8fn19fotj2qj20yi0xu0w9.jpg'
r = requests.get(url)
with open('chloe.jpg','wb') as f:
    f.write(r.content)

2.爬取豆瓣评论——《了不起的盖茨比》

import requests
from bs4 import BeautifulSoup
 r= requests.get('https://book.douban.com/subject/25708359/comments/')
 demo = r.text  
 soup = BeautifulSoup(demo,'html.parser') 
 pattern = soup.find_all('p','comment-content')
 for item in pattern:
    print(item.string)

3.爬取豆瓣评论总分——《小王子》

import re
import requests
from bs4 import BeautifulSoup

sum = 0

url='https://book.douban.com/subject/1084336/comments/'
r = requests.get(url)
r.encoding='utf-8'
#第一个是string，第二个是解析器，一般推荐用lxml
soup = BeautifulSoup(r.text,'lxml')
#第一个是tag,第二个是attrs,返回满足该条件的列表
pattern = soup.find_all('p','comment-content')
for item in pattern:
    print(item.string)
#第一个是要找的内容，第二个是原串，第三个是为了在多行的情况下也能正常查找出来，返回的也是列表
p = re.findall('<span class="user-stars allstar(.*?) rating"',r.text,re.S)
for star in p:
    sum += int(star)
print(sum)

4.寻找所有a标签，其中link是tag

for link in soup.find_all('a'):
    print(link.get('href'))
    print（link['href']）

5.模拟浏览器发送信息

kv = {'user-agent':'Mozilla/5.0'}
r = requests.get(url,headers = kv)

6.显示通用语言

r.encoding = 'utf-8'

7.检测查询状态,正常则返回200

r.status_code

8.BeautifulSoup的5五种基本元素
①Tag
②Name
③Attributes
④NavigableString
⑤Comment

tag = soup.a
tag.attrs['class']
tag.name
tag.string
tag.parent

9.遍历：上行，下行，平行

①children,decendents   #下行
②parents    #上行
③next_siblings,previous_siblings  #平行

10.html内容更加友好的显示

soup.a.prettify()

11.如果要表示一个空的代码块，可以使用pass语句

def do_nothing():
    pass

12.正则查找

re.findall(pattern,string)   #pattern是匹配串，string是原串，返回所有符合要求的列表
re.search(pattern,string)    #同上，但是search只提取第一个符合要求的内容
re.sub(str1,str2)            #用str2替换str1并返回替换后的内容