Yanko24

分类

Algorithm(1) C(4) CentOS(3) ElasticSearch(7) Git(1) Hadoop(1) Hbase(3) Hive(2) JavaWeb(1) Java学习笔记(20) JDBC(2) Kafka(3) Linux(1) MapReduce(2) Maven(1) MySQL(3) Redis(2) SBT(1) Scala(1) Shell(1) Spark(6) Spring(2) Sqoop(2) Tomcat(1) Ubuntu(1) ZooKeeper(1) 数据结构(1) 计算机基础(5) 设计模式(4) 软件安装(5)

/ 注册

全部文章（共88篇）

ElasticSearch基本操作——curl

ElasticSearch基本操作——curl 获取集群信息 [yangqi@xiaoer ~]$ curl -XGET 'xiaoer:9200' 查看es集群是否健康 [yangqi@xiaoer ~]$ curl -XGET 'xiaoer:9200/_cat/health?v'...

2020-02-22

0 447

ElasticSearch 安装

ElasticSearch 安装下载地址历史版本下载地址单机版安装安装环境操作系统 CentOS 7.7 64位 ElasticSearch 6.8.6 Kinbana 6.8.6 JDK 1.8.0_162 创建账号由于ElasticSearch默认不支持root账号权...

2020-02-15

0 644

Spark常见的Transformation算子（四）

Spark常见的Transformation算子（四）原始数据 println("======================= 原始数据 ===========================") val data1: RDD[String] = sc.paralleli...

2020-01-14

0 338

Spark常见的Transformation算子（三）

Spark常见的Transformation算子（三）初始化数据 println("======================= 原始数据 ===========================") val data1: RDD[Int] = sc.parallelize...

2020-01-13

0 387

Spark常见的Transformation算子（二）

Spark常见的Transformation算子（二）初始化数据 println("======================= 原始数组 ===========================") val data: RDD[String] = sc.textFile(...

2020-01-13

0 386

Spark常见的Transformation算子（一）

Spark常见的Transformation算子（一） parallelize 将一个存在的集合，转换成一个RDD /** Distribute a local Scala collection to form an RDD. * * @note Parallelize acts lazi...

2020-01-13

0 434

布隆过滤器

布隆过滤器什么是布隆过滤器？布隆过滤器（Bloom Filter）是一个叫做Bloom的人在1970年提出的。我们可以将它看作是由二进制向量（或者说位数据）和一系列的随机映射函数（哈希函数）两部分组成的数据结构。相比于List/Map/Set等数据结构，它占用的空间更少而且效率更高，但是...

2020-01-12

0 676

Spark的分区器（Partitioner）

Spark的分区器（Partitioner） HashPartitioner（默认的分区器） HashPartitioner分区原理是对于给定的key，计算其hashCode，并除以分区的个数取余，如果余数小于0，则余数+分区的个数，最后返回的值就是这个key所属的分区ID，当key为nul...

2020-01-12

0 448

水塘抽样（Reservoir sampling）

水塘抽样（Reservoir sampling）题目：给出一个数据流，这个数据流的长度很大或者未知。并且对该数据流中的数据只能访问一次。请写出一个随机选择算法，使得数据流中所有数据被选中的概率相等。这个问题的扩展就是：如何从未知或者很大样本空间随机的取k个数？或者说，数据流长度为N行，要...

2020-01-12

0 768

SBT在Windows上的配置

SBT在Windows上的配置 1. 下载和安装SBT 下载SBT的windows版本，可以下载msi和zip两种格式，SBT下载将下载好的sbt-1.3.5.zip解压到安装目录，并且配置环境变量即可打开sbt的解压目录，可以看到如下的目录结构 2. 配置SBT ...

2020-01-08

0 2128