喵星人_Cat

分类

Hadoop Yarn(1) Python爬虫(1) 博客(1) 操作系统(4) 数据库(5) 未归档(100) 机器学习(24) 海量数据处理(2) 编程语言(16) 网络(4) 网络安全(1)

/ 注册

全部文章（共157篇）

Spark性能优化：资源调优篇

近日在搞xgboost分布式在spark上的运行情况，发现其运行速度较慢，便查找原因，下面这篇博客诗写得很好的一篇，转载以备后用！在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学...

2018-12-18

0 1264

在缺少高版本glibc的机器上通过修改ELF引用使之成功运行测试实例

问题分析：本篇文档是在《更改引用高版本glibc的程序到引用低版本的glibc》之后的补充文档，如果以后遇到相同问题，首先看我之前原创的《更改文件引用的高版本glibc到低版本glibc》这篇，然后再来看本篇。本篇文档将详细记录一个在低版本glibc机器上运行由a.cpp文件编译之后的a文件...

2018-10-24

0 1279

先验概率、后验概率与似然估计--通俗易懂的解释

本文假设大家都知道什么叫条件概率了（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。先验概率和后验概率教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率。那么...

2018-10-24

1 1211

更改引用高版本glibc的程序到引用低版本的glibc

1：问题背景描述在拥有高版本glibc的机器上编译分布式xgboost程序，结果在拥有低版本glibc版本的集群机器上无法运行，总是报错，显示缺少glibc_2.14，为了解决整个问题，google查阅了很多资料，大体给出了两种方案：方案一：升级集群所有机器的glibc版本以满足程序运行要求...

2018-10-17

0 1574

机器学习中常用的损失函数你知多少？

转自机器之心公众号！本文作者将常用的损失函数分为了两大类：分类和回归。然后又分别对这两类进行了细分和讲解，其中回归中包含了一种不太常见的损失函数：平均偏差误差，可以用来确定模型中存在正偏差还是负偏差。机器通过损失函数进行学习。这是一种评估特定算法对给定数据建模程度的方法。如果预测值与实...

2018-09-12

0 780

在eclipse中使用git

这是在eclipse中对git的一般用法下载与安***r> Eclipse Java EE IDE中已经包含了git，所以，就不用再额外安装了。将eclipse中的工程用git来控制 1：选中工程的名字，右键选中“Team” --> Share Project...

2018-08-03

0 467

Shell脚本中调用其他Shell脚本

在Linux平台上开发，经常会在console(控制台)上执行另外一个脚本文件，经常用的方法有：./my.sh 或 source my.sh 或 . my.sh；这三种方法有什么不同呢？我们先来了解一下在一个shell脚本中如何调用另外一个shell脚本，其方法有 fork exec s...

2018-07-26

0 1326

Apache Hadoop YARN

Apache Hadoop YARN - 概念和应用程序本系列的其他文章：Apache Hadoop简介YARN Apache Hadoop YARN - 背景和概述Apache Hadoop YARN - 概念和应用程序Apache Hadoop YARN - ResourceManager ...

2018-07-20

0 562

Hadoop Yarn详解

一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前，我们先回头看一下Hadoop1.x对MapReduce job的调度管理方式（可参考：...

2018-07-20

1 1383

Kaggle 数据清洗挑战 Day 1~Day5

本文系转发自：https://blog.csdn.net/cyan_soul 前些天报名参加了 Kaggle 的 Data Cleaning 5天挑战，5天的任务如下： Day 1: Handling missing values Day 2: Data scaling and normal...

2018-07-13

0 639