博学而笃志，切问而近思

爬虫

Django(2) OOP面向对象(6) scrapy(1) 二级python(1) 初学心得(6) 小实现(14) 操作系统(1) 数据库(11) 未归档(20) 编程语言(13) 网络原理(11) 骚操作(4)

/ 注册

全部文章 / 爬虫（共12篇）

爬虫是在搞什么

爬虫：写一段代码，去指定的URL(网站)去获取指定的数据互联网：互联网中给你一个起始URL，www.baidu.com ,互联网中的每一个节点都是一个a链接，或者称为URL 通用爬虫：百度，搜狗，google,雅虎，bing 1、工作： 1、爬取所有信息 2、主动提交url(提升排名) 3、百度...

2019-08-27

0 466

python爬虫美拍网视频

哈哈，今天的话题有点那什么了哈。咱们应该秉承学习技术的角度来看，那么就开始今天的话题吧。思路来源今天很偶然的一个机会，看了下美拍网视频，于是就激发了我的好奇心，就写了一个简单的测试用例。神奇的发现这一招竟然是管用的。那还等什么咯。 ———————————————— url： https://...

2019-08-20

0 509

python爬虫之多线程模板（例：泛见志）

# __author: han-zhang # date: 2019/8/19 16:13 # page_queue、data_queue、多线程 from queue import Queue import threading import requests from bs4 impor...

2019-08-20

0 560

python爬虫全国各大城市公交线路及各种信息

# __author: han-zhang # date: 2019/8/18 15:59 import requests import time, re, json from bs4 import BeautifulSoup headers = { 'User-Agent': '...

2019-08-19

0 525

Python爬虫大招之selenium有无界面

selenium是什么？他是一个浏览器的自动化测试工具，就是你写一些代码，代码取操作浏览器执行一些功能 ` 安装selenium pip install selenium selenium操作了谷歌的一个驱动谷歌浏览器驱动下载地址： http://chromedri...

2019-08-18

0 481

python爬京东商品评论（json）

Python网络爬虫所需要的模块本次爬虫程序需要的模块有：request、urllib、json 以下先来分别介绍这几个模块的用处 request模块利用request(requests)模块我们可以获取所要爬取网页的html内容。使用request可以返回对应网页的连接，在调用.text或者...

2019-08-16

0 678

python爬豆瓣影评(json+lxml+urllib)

#__author: han-zhang #date: 2019/8/16 15:30 from lxml import etree import urllib.request import json #url url='https://movie.douban.com/j/chart/t...

2019-08-16

0 546

爬取高清站长之家美图（想爬多少爬多少）

方方面面总是会需要使用一些图片做封面或背景。图片有两种来源：一是通过创可贴自己动手修改下就可以用了，还一种就是在网上下载图片。那如何下载高清并且可以供使用的图片了？我是使用的站长之家网站下载来的图片（http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html），...

2019-08-16

0 571

python爬51job招聘网站信息（requests+bs4）

# __author: han-zhang # date: 2019/8/15 17:15 from bs4 import BeautifulSoup import urllib.request, time def get_request(url): headers = { ...

2019-08-15

0 581

python爬诗词名句网站三国图书内容（requests+bs4）

# __author: han-zhang # date: 2019/8/15 16:15 from bs4 import BeautifulSoup import urllib.request import time def get_request(url): headers =...

2019-08-15

0 628