喵星人_Cat

分类

Hadoop Yarn(1) Python爬虫(1) 博客(1) 操作系统(4) 数据库(5) 未归档(100) 机器学习(24) 海量数据处理(2) 编程语言(16) 网络(4) 网络安全(1)

/ 注册

全部文章（共157篇）

pandas使用笔记

DataFrame使用笔记 dates=pd.date_range('20160728',periods=6) #创建固定频度的时间序列 df=pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD')) #创建6*4的随机数...

2018-03-08

0 1042

python pandas中.isnull().any()含义

问题描述： python pandas判断缺失值一般采用 isnull()，然而生成的却是所有数据的true／false矩阵，对于庞大的数据dataframe，很难一眼看出来哪个数据缺失，一共有多少个缺失数据，缺失数据的位置。首先对于存在缺失值的数据，如下所示 import pandas as p...

2018-03-08

0 1453

pandas数据合并与重塑（pd.concat篇）

1 concat concat函数是在pandas底下的方法，可以将数据根据不同的轴作简单的融合 1 2 pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, ...

2018-03-08

0 395

利用随机森林做特征选择

随机森林具有准确率高、鲁棒性好、易于使用等优点，这使得它成为了目前最流行的机器学习算法之一。随机森林提供了两种特征选择的方法：mean decrease impurity和mean decrease accuracy。平均不纯度减少----mean decrease impurity ...

2018-03-06

0 1467

随机森林的优缺点

随机森林是一个用随机方式建立的，包含多个决策树的分类器。其输出的类别是由各个树输出的类别的众数而定。随机性主要体现在两个方面：（1）训练每棵树时，从全部训练样本（样本数为N）中选取一个可能有重复的大小同样为N的数据集进行训练（即bootstrap取样）；（2）在每个节点，随机选取所有...

2018-03-06

0 966

教你如何迅速秒杀掉：99%的海量数据处理面试题

前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名 :-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结。毕竟受文章和理...

2018-03-05

2 1773

逻辑回归优缺点简单分析

优点： 1）预测结果是界于0和1之间的概率； 2）可以适用于连续性和类别性自变量； 3）容易使用和解释；缺点： 1）对模型中自变量多重共线性较为敏感，例如两个高度相关自变量同时放入模型，可能导致较弱的一个自变量回归符号不符合预期，符号被扭转。需要利用因子分析或者变量聚类分析等手段来选择代表性的...

2018-03-03

0 556

深度学习笔记目录

第一门课神经网络和深度学习(Neural Networks and Deep Learning) 第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(Welcome) 1 1.2 什么是神经网络？(What is a Neural Networ...

2018-01-25

0 1638

吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记（1-2）-- 神经网络基础

以下为在Coursera上吴恩达老师的DeepLearning.ai课程项目中，第一部分《神经网络和深度学习》第二周课程部分关键点的笔记。笔记并不包含全部小视频课程的记录，如需学习笔记中舍弃的内容请至Coursera 或者网易云课堂。同时在阅读以下笔记之前，强烈建议先学习吴恩达老师的视频课程。 ...

2018-01-25

0 1852

你走过最长的路，就是机器学习过程中的弯路

营长的一位转型AI的朋友，最近对营长抱怨，“走过的最远的路，就是机器学习过程中的弯路”，然后开始各种blablabla，从论文的坑，到模型的坑，再到培训的坑...一路吐槽。尤其是论文，他骂道：“最讨厌的就是那种，高高在上、假装清高、站着说话不腰疼、戳不到痛点的论文。比如那一堆只能在理论中...

2018-01-25

0 2281