BeautifulSoup安装方法:
以管理员的身份启动cmd
执行 pip install BeautifulSoup4

使用方法:
from bs4 import BeautifulSoup
soup = BeautifulSoup(<p>data</p>, 'html.parser')
bs4是BeautifulSoup4的简称
<p>data</p> 是爬取网页得到的信息,一般会用一个变量保存
html.parser是解析方法

Beautiful Soup库,也叫beautifulsoup4 或 bs4
约定引用方式如下,即主要是用BeautifulSoup类
from bs4 import BeautifulSoup
import bs4

每一个HTML文档都相当于是一个标签树
BeautifulSoup就是对这些标签树进行解析

解析器              使用方法                             条件
bs4的HTML解析器     BeautifulSoup(mk,'html.parser')     安***s4库
lxml的HTML解析器    BeautifulSoup(mk,'lxml')            pip install lxml
lxml的XML解析器     BeautifulSoup(mk,'xml')             pip install lxml
html5lib的解析器    BeautifulSoup(mk,'html5lib')        pip install html5lib

BeautifulSoup类的基本元素
<p class=“title”> … </p>
基本元素            说明
Tag                     标签,最基本的信息组织单元,分别用<>和</>标明开头和结尾
Name                 标签的名字,<p>…</p>的名字是'p',格式:<tag>.name
Attributes           标签的属性,字典形式组织,格式:<tag>.attrs
NavigableString 标签内非属性字符串,<>…</>中字符串,格式:<tag>.string
Comment           标签内字符串的注释部分,一种特殊的Comment类型


标签树的下行遍历
属性                   说明
.contents           子节点的列表,将<tag>所有儿子节点存入列表
.children            子节点的迭代类型,与.contents类似,用于循环遍历儿子节点
.descendants    子孙节点的迭代类型,包含所有子孙节点,用于循环遍历

BeautifulSoup类型是标签树的根节点

标签树的上行遍历
属性          说明
.parent      节点的父亲标签
.parents    节点先辈标签的迭代类型,用于循环遍历先辈节点、

标签树的平行遍历
属性                        说明
.next_sibling           返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling    返回按照HTML文本顺序的上一个平行节点标签
.next_siblings         迭代类型,返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings  迭代类型,返回按照HTML文本顺序的前续所有平行节点标签

所有的平行遍历必须发生在同一个父亲节点下
一个标签的平行节点可能不是一个标签
任何一个标签它的平行标签是可能会存在 NavigableString类型的


使用prettify()可以使HTML页面更加友好的显示

code:

import requests
from bs4 import BeautifulSoup

r = requests.get("http://python123.io/ws/demo.html")
r.encoding = r.apparent_encoding
demo = r.text
soup = BeautifulSoup(demo, "html.parser")
# filename = open("C:\\Users\张成龙\Desktop\my.html", "w")
# tag = soup.a
# # print(tag.attrs['href'])
# # print(soup , file=filename)
# # filename.close()

# 下行遍历
for child in soup.body.children:
    print(child)

# 上行遍历
for parent in soup.a.parents:
    if parent is None:
        print(parent)
    else:
        print(parent.name)

# # 平行遍历
# print(soup.a.next_sibling.next_sibling)
# print(soup.a.previous_sibling)
# print(soup.a.previous_sibling.previous_sibling)
# print(soup.a.parent)
# # 后续
for sibling in soup.a.next_siblings:
    print(sibling)
# # 前续
for sibling in soup.a.previous_siblings:
    print(sibling)

# bs4库的prettify()方法
# print(soup.prettify())
print(soup.a.prettify())