七秒的鱼

分类

ElasticSearch(1) Flink(6) Flume(2) Hadoop(7) HBase(4) Hive(2) Idea(1) Java(2) JVM(8) Kafka(4) Scala(1) Spark(5) VMwareWorkstation(1) Zeppelin(2) Zookeeper(3) 未归档(1)

/ 注册

全部文章（共50篇）

ApacheFlink 状态管理与容错机制

转载作者：孙梦瑶整理：韩非校对：邱从贤（山智） https://ververica.cn/developers/state-management/本文主要分享内容如下：状态管理的基本概念；状态的类型与使用示例；容错机制与故障恢复。一. 状态管理的基本概念 1.什么是状态首先举一个无状...

2019-10-13

1 553

ApacheFlink Time &Window

时间概念类型对于流式数据处理，最大的特点是数据上具有时间的属性特征，Flink根据实际产生的位置不同，将时间区分为三种时间概念，分别为事件生成时间（EventTime）、事件接入时间（Ingestion Time）和事件处理时间（Processing Time）。事件时间（EventTime）...

2019-10-12

0 555

ApacheFlink简单的构建一个应用程序

参考链接:https://ververica.cn/developers/build-from-zero/ 简单的构建一个ApacheFlink的应用程序开发环境的准备：这里我是在Windows上运行的。在本地机器上需要有Java8.x和maven环境首先我们创建一个Maven工程pom如下： ...

2019-10-10

0 579

Apache Flink DataStream API编程

转载作者：崔星灿整理：高赟https://ververica.cn/developers/apache-flink-basic-zero-iii-datastream-api-programming/ 1. 流处理基本概念对于什么是流处理，从不同的角度有不同的定义。其实流处理与批处理这两个概念是...

2019-10-08

0 703

Apache Flink 开发环境搭建

转载作者：沙晟阳（成阳） https://ververica.cn/developers/flink-basic-tutorial-1-environmental-construction/本文主要面向于初次接触 Apache Flink（以下简称Flink）、或者对 Flink 有了解但是没有实...

2019-10-07

0 658

Apache Flink概念

转载作者：陈守元 & 戴资力https://ververica.cn/developers/flink-basic-tutorial-1-basic-concept/ 一、Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无...

2019-10-05

0 1013

Spark压缩文件性能分析

Spark压缩文件性能分析 HDFS上分布式文件存储，成为大数据平台首选存储平台。而Spark往往以HDFS文件为输入，为保持兼容性，Spark支持多种格式文件读取，大数据场景下，性能瓶颈往往是IO，而不是CPU算力，所以对文件的压缩处理成为了很必要的手段。Spark为提供兼容性，同时支持多种压缩包...

2019-10-03

0 2893

Zeppelin

什么是ApacheZeppelin？ Apache Zeppelin 是一个可以进行大数据可视化分析的交互式开发系统，可以承担数据接入、数据发现、数据分析、数据可视化、数据协作等任务，其前端提供丰富的可视化图形库，不限于SparkSQL，后端支持HBase、Flink 等大数据系统以插件扩展的方式，...

2019-10-02

0 742

Hive查询

6.1 基本查询（Select…From） 6.1.1 全表和特定列查询 1）全表查询hive (default)> select * from emp;2）选择特定列查询hive (default)> select empno, ename from emp;注意：（1）SQL 语言大...

2019-10-01

0 1091

ElasticSearch

1.1什么是搜索？百度：我们比如说想找寻任何的信息的时候，就会上百度去搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻（提到搜索的第一印象）。百度 != 搜索1）互联网的搜索：电商网站，招聘网站，新闻网站，各种app2）IT系统的搜索：OA软件，办公自动化软件，会...

2019-09-30

0 1095