数据万花筒

数据科学

excel(1) 人工智能(2) 从0到1转行数据分析(1) 大数据(1) 字符串(4) 数据库(6) 数据挖掘(1) 机器学习(2) 游戏(3) 统计学(1)

/ 注册

全部文章 / 数据科学（共39篇）

不得不学的统计学基础知识（二）

接上一期的分享，今天继续学习统计学的相关知识，今天涉及到的五个知识点主要包括离散型概率分布、连续型概率分布、假设检验、假设检验的运用（一类错误与二类错误）以及相关、因果以及回归关系。一、离散型概率分布离散型随机变量是所有取值能够一一列举出来，这样的随机变量称为离散型随机变量。例如掷骰子...

2021-01-07

0 795

练好数据分析基本功，掌握常用的统计学指标和六大分析方法

前面几讲，我们从数据岗的知识体系出发，学习了常用的SQL语法，复习了统计学的基础知识。今天的分享我们是数据分析岗的最后一讲，着重于分享常用的统计学指标以及数据分析师的常用分析方法。「 Part 1 常用的统计学指标」数据集合包括无序数据集、有序数据集两种类型，对...

2021-01-07

0 701

你真的了解模型评估与选择嘛

前面几讲我们基于数据分析师需要掌握的基本技能，从SQL出发，学习了统计学的基本知识，在系统层面基本讲完了数据分析师需要具备的能力。下面几讲，我们会围绕数据挖掘工程师需具备的知识体系展开，今天会着重介绍机器学习中模型评估与选择的基础知识。 01 数据集的划分留一法、交叉验证、自助法 ...

2021-01-07

0 527

模型评估与选择之Bias and Variance Tradeoff

模型评估与选择在机器学习领域，人们总是希望使自己的模型尽可能准确地描述数据背后的真实规律。通俗所言的「准确」，其实就是误差小。在领域中，排除人为失误，人们一般会遇到三种误差来源：随机误差、偏差和方差。偏差和方差又与「欠拟合」及「过拟合」紧紧联系在一起。由于随机误差是不可消除的，所以此篇我...

2021-01-07

0 568

被问到窗口函数不知所措？一文教会你数据分析师常用的窗口函数！

在数据分析中，窗口函数是我们经常用到的函数，今天的文章我们总结了常用的各类窗口函数并给出实例。一.创建数据集 from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.appN...

2021-01-07

0 635

面试中还说不全数据预处理的方法？看这里，总结好的文档统统送给你！

数据预处理的方法主要包括去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析等，这篇文章将会全面地总结数据预处理的基本方法。一、去除唯一属性唯一属性通常是一些id属性，这些属性并不能刻画样本自身的分布规律，所以简单地删除这...

2021-01-07

0 1018

数据预处理之特征工程概述

何为特征工程呢？顾名思义，就是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。本质上讲，特征工程是一个表示和展现数据的过程；实际工作中，特征工程的目的是去除原始数据中的杂质和冗余，设计更高效的特征以刻画求解的问题与预测模型之间的关系。特征工程的重要性有以下几点： ...

2021-01-07

0 1142

还不会搭简单线性模型？看这里，手把手教你实现简单线性模型

本章我们通过简单线性回归模型预测黄金的价格,我们将会从数据读入、数据预处理、数据集划分、模型建立、模型效果验证等方面展开。数据读入及预处理 from sklearn.linear_model import LinearRegression # LinearRegression is a m...

2021-01-07

0 593

数据预处理之降维-PCA和LDA

一、LDA（线型判别分析-Linear Discriminant Analysis） 1.基本原理给定训练集样例，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近、异类样例的投影点尽可能地远离；在对新样本分类时，将其投影点同样的投影到这条直线上，再根据投影点的位置来确定新样例的...

2021-01-07

0 1063

特征选择方法之Filter,Wrapper,Embedded

Feature Selection 是在模型构建过程中选择最相关、最有利于提高预测效果的特征子集的过程，也是数据预处理的重要步骤之一。什么是特征选择机器学习中的特征选择（Feature Selection）也被称为 Variable Selection 或 Attribut...

2021-01-07

0 1057