大数据左右手

分类

Flink(5) FlinkSQL(4) 大数据(11) 大数据面试(2) 操蛋的人生(1) 机器学习(6) 面试(6)

/ 注册

全部文章（共35篇）

Flink执行流程与源码分析（面试必问，建议收藏）

Flink主要组件作业管理器（JobManager） (1) 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的Jobmanager所控制执行 (2) Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图（ Job Graph）、...

2021-09-16

0 816

一石激起千层浪：FlinkSQL Join维表和其他疑问的梳理

开发的过程也是探索和学习的过程，一个问题可以揪出背后众多知识。回头想想，这些问题早在官网给出了答案。有时候会想，始终是一种由发现问题到寻求解决问题之路的一种驱动，而不是一种系统学习后把控全局地去实现或者开发。所以学习的某一种过程是与bug并行，与解决问题为驱动的一种学习方式。不管哪一种过程，都是你的...

2021-09-16

0 979

FlinkSQL没有做热身准备，上手开发你心中有底吗？

前言在使用FlinkSQL考虑到做指标统计，心中疑问好多：状态能恢复吗？状态数据越来越大怎么办，怎么去清除之前数据？我怎么按天去统计数据？如果遇到主表要join很早的数据怎么办？...... 心中想到这些问题，一万个xxx而过。所以需要做个热身准备，不然真的不敢上手开发业...

2021-09-16

0 1009

Flink吐血总结，学习与面试收藏这一篇就够了！！！

Flink 核心特点批流一体所有的数据都天然带有时间的概念，必然发生在某一个时间点。把事件按照时间顺序排列起来，就形成了一个事件流，也叫作数据流。「无界数据」是持续产生的数据，所以必须持续地处理无界数据流。「有界数据」，就是在一个确定的时间范围内的数据流，有开始有结束，一旦确定了就不会...

2021-09-16

0 507

你的数据倾斜了吗？一文帮你数据处理再均衡

前言此篇主要总结到Hive,Flink,Spark出现数据倾斜的表现，原因和解决办法。首先会让大家认识到不同框架或者计算引擎处理倾斜的方案。最后你会发现计算框架只是“异曲”，文末总结才是“同工之妙”。点击收藏与分享，工作和涨薪用得到！！！数据倾斜数据倾斜最笼统概念就是数据的分布不平...

2021-09-16

0 1040

Flink最锋利的武器Flink SQL（入门篇）

本文目录简介介绍计划器 Flink与Blink流批环境表支持连接资源创建数据源表创建数据结果表创建数据维表小案例介绍 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一...

2021-09-16

0 890

FlinkSQL窗口，让你眼前一亮，是否可以大吃一惊呢

前言 Flink SQL的窗口操作在straming的实现上增添了不少东西。是用起来越来越方便。本篇主要内容： Watermark 滚动窗口滑动窗口累积窗口函数窗口分组聚合GROUPING SETS Clue幂集函数 Over函数 Wa...

2021-09-16

0 798

查询引擎怎么选？7000字解析所有开源引擎的秘密

怎么理解即席查询即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。即席查询与批处理后查询的区别批处理后的查询在数据仓库...

2021-09-16

0 559

大数据之分布式协调神器：Zookeeper选举

前言分布式系统设计成主从节点主要是为了保障数据一致性，主从设计是一种最直观的数据一致性保障机制。比如主从复制，主节点负责写，从节点负责读，提高读的性能。从节点定期通过心跳与主节点沟通，一旦主节点挂掉了，从节点马上接手主节点的任务。但是主节点暂时失去响应，如瞬时负载过高，网...

2021-09-16

0 412

大数据常见术语，你了解多少？

大数据常见术语一览主要内容包含以下（收藏，转发给你身边的朋友）雪花模型、星型模型和星座模型事实表维度表上钻与下钻维度退化数据湖 UV与PV 画像 ETL 机器学习大数据杀熟 SKU与SPU ...

2021-09-16

0 566