Flash7k

大数据学习笔记

Java基础学习笔记(2) Spring阅读笔记(1) 大数据面试重点(2) 算法(4) 组件学习笔记(1)

/ 注册

全部文章 / 大数据学习笔记（共9篇）

大数据学习笔记：Scala

Scala Scala是一门多范式的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性特点运行在JVM上，可与现存程序同时运行可直接使用Java类库同Java一样静态类型语法和Java类似，比Java更加简洁（简洁而并不是简单），表达性更强同时支持面向对象、函数式编程比Ja...

Scala

2022-04-01

0 701

大数据学习笔记：Kafka

1. 概述定义传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。发布/订阅模式：消息分为多种类型，订阅者根据需求，选择性订阅最新定义： Kafka 是一个开源的分布式事件流平台（ Event Streaming...

Kafka

2022-04-01

0 546

大数据学习笔记：Hive-优化

1. Explain查看执行计划由于执行一段语句需要很长时间，因此只查看执行计划查看执行计划 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query-sql; 查看详细执行计划 EXPLAIN EXTENDED query-sql; ...

Hive SQL HQL 优化

2022-04-01

0 516

大数据学习笔记：Hive-语法基础

1. Hive基本概念简介由Facebook 开源用于解决海量结构化日志的数据统计工具基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能本质将HQL转化成 MapReduce 程序数据存储在HDFS 数据分析由MapReduce...

Hive SQL HQL

2022-04-01

0 373

大数据学习笔记：Hadoop-调优

1. HDFS-核心参数 1）NameNode内存生产配置 NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块？ 128 * 1024 * 1024 * 1024 / 150 byte ≈ 9.1亿 Hadoop2.x，配置NameN...

Java Hadoop 调优

2022-04-01

0 436

大数据学习笔记：Hadoop-Yarn

1. 基础架构 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。组成：ResourceManager、NodeManager、ApplicationMaster、Container ...

Java Hadoop Yarn

2022-04-01

0 388

大数据学习笔记：Hadoop-MapReduce

Hadoop-MapReduce 第1章 MapReduce概述 1.1 MapReduce定义定义：分布式运算程序编程框架，用户开发“基于Hadoop的数据分析应用”的核心框架核心功能：将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集...

Java Hadoop MapReduce

2022-04-01

0 427

大数据学习笔记：Hadoop-HDFS

Hadoop-HDFS 第1章 HDFS概述 1.1 HDFS产出背景及定义 HDFS产生背景一个操作系统中存不下所有数据，只能分配到更多操作系统管理的磁盘中，但是不方便管理和维护。因此需要一种系统来管理多台机器上的文件，也就是分布式文件管理系统，HDFS只是其中一种 HDFS定义 Ha...

Java Hadoop HDFS

2022-04-01

1 309

大数据学习笔记：Hadoop-集群搭建

Hadoop-集群搭建第一章 Hadoop概述 1.1 Hadoop是什么由Apache基金会开发的分布式系统基础架构解决海量数据的存储和分析计算问题广义上指Hadoop生态圈 1.2 Hadoop发展历史创始人Doug Cutting 为实现与Google类似的全文检索，在L...

Java Hadoop

2022-04-01

0 468