牛客332084533号

分类

python(9) 前端(1) 数据库(1) 数据结构(2) 未归档(60) 生产环境部署(5) 计算机基础(2) 项目实战(12)

/ 注册

全部文章（共92篇）

11-scrapy(递归解析,post请求,日志等级,请求传参)

一、递归解析：　　需求：将投诉_阳光热线问政平台中的投诉标题和状态网友以及时间爬取下来永久储存在数据库中　　　url:http://wz.sun0769.com/index.php/question/questionType?type=4&page= 需求分析：每一个页面对应的...

爬虫

2019-10-07

0 6475

04-numpy读取本地数据和索引

1、numpy读取数据　　CSV:Comma-Separated Value,逗号分隔值文件显示：表格状态源文件：换行和逗号分隔行列的格式化文本,每一行的数据表示一条记录由于csv便于展示,读取和写入,所以很多地方也是用csv的格式存储和传输中小型的数据,为了方便教学,我们会经常操作csv...

数据分析Numpy、Padas、Matplotlib

2019-10-06

0 516

10-scrapy框架介绍

Scrapy 入门教程 Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内...

爬虫

2019-10-04

0 498

09-移动端数据的设置爬取

1 什么是Fiddler? （伪服务器）　　Fiddler是位于客户端和服务器端的HTTP***，也是目前最常用的http抓包工具之一。它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务...

爬虫

2019-10-04

0 461

07-selenium、PhantomJS（无头浏览器）

selenium（自动化测试工具可用于在爬虫中解决js动态加载问题）　　简介(本质就是模仿浏览器工作) 　　Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium...

爬虫

2019-10-01

0 2299

06爬虫-异步协程

1. 前言（目的就是大大提升爬虫效率）　　在执行IO密集型任务的时候，代码常常遇到IO操作而等待。例如我们在爬虫的时候，用到requests请求的时候，网页响应慢，一直等待着，那么爬虫的效率会大大的降低。为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的方法，此种方法对于 ...

爬虫

2019-10-01

0 391

Numpy数值类型与数值运算-03

什么是NumPy？　　NumPy是Python中科学计算的基本软件包。它是一个Python库，提供***数组对象，各种派生对象（例如蒙版数组和矩阵）以及各种例程，用于对数组进行快速操作，包括数学，逻辑，形状处理，排序，选择，I / O ，离散傅立叶变换，基本线性代数，基本统计运算，随机模拟等...

数据分析Numpy、Padas、Matplotlib

2019-09-29

0 459

05爬虫-requests模块基础（2）

今日重点：　　　　1、***服务器的设置　　　　2、模拟登陆过验证码（静态验证码）　　　　3、cookie与session 　　　　4、线程池 1、***服务器的设置　　有时候使用同一个IP去爬取同一个网站，久了之后会被该网站服务器屏蔽。那么我们应该1怎么处理这个...

爬虫

2019-09-29

0 2340

Matplotlib散点图、条形图、直方图-02

对比常用统计图折线图：　　特点：能够显示数据的变化趋势，反映事物的变化情况。（变化）直方图：　　特点：绘制连续性的数据，展示一组或者多组数据的分布情况（统计）条形图：　　特点：绘制离散的数据，能够一眼看出各个数据的大小，比较数据之间的差距（统计）散点图：　...

数据分析Numpy、Padas、Matplotlib

2019-09-26

0 956

初识Matplotlib-01

初识数据分析　　大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，...

数据分析Numpy、Padas、Matplotlib

2019-09-25

0 435