大数据左右手

分类

Flink(5) FlinkSQL(4) 大数据(11) 大数据面试(2) 操蛋的人生(1) 机器学习(6) 面试(6)

/ 注册

全部文章（共35篇）

论文查重怎么搞的？一篇文章的简介怎么出来的呢？关键词提取怎么提取的呢？TF-IDF算法可以了解下

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注关注我，在公众号回复 “机器学习” 可领取电子书什么是TF-IDF TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着...

2021-09-16

0 444

你的抖音，你的小视频，你的淘宝是不是总会给你推荐一些东西呢？LFM隐语义模型了解下

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注关注我，在公众号回复 “机器学习” 可领取电子书 ###什么是隐语义模型LFM 协同过滤算法主要包括基于用户的协同过滤（User-Based CF）、基于物品的协同过滤（Item-Bas...

2021-09-16

0 528

你知道搜索是怎样的一个原理吗？对话形式通俗易懂

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注前提上一篇：Elasticsearch，从一个浪漫的故事开始（原理篇）上一篇文章详细的介绍了Elasticsearch，属于纯文字，纯文字是比较乏味的。所有此篇开启新的方式去解读搜索...

2021-09-16

0 389

Elasticsearch，从一个浪漫的故事开始（原理篇）

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。欢迎转发与关注从一个浪漫的故事开始许多年前，一个名叫Shay Banon的开发者，带着新婚妻子去伦敦生活，在得知妻子想从事厨师工作后，准备利用自己所学为妻子开发一个食谱搜索引擎，他开始使用Lucen...

2021-09-16

0 417

Flink的一致性保证

前言介绍 Flink的检查点和恢复机制定期的会保存应用程序状态的一致性检查点。在故障的情况下，应用程序的状态将会从最近一次完成的检查点恢复，并继续处理。尽管如此，可以使用检查点来重置应用程序的状态无法完全达到令人满意的一致性保证。相反，source和sink的连接器需要和Flink的检查点和恢复...

2021-09-16

0 916

Flink CEP - Flink的复杂事件处理

1 Flink CEP 是什么 FlinkCEP - Flink的复杂事件处理。它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分 2 Flink CEP 特点目标：从有序的简单事件流中发现一些高阶特征输入：一个或多个由简单事件构成的事件流 ...

2021-09-16

0 1012

Flink的状态与容错

Flink的状态与容错本文主要运行到Flink以下内容检查点机制(CheckPoint) 状态管理器(StateBackend) 状态周期(StateTtlConfig) 关系首先要将state和checkpoint概念区分开，可以理解为checkpoint是...

2021-09-16

0 553

六千字长文:大数据框架(分区，分桶，分片),建议收藏

前言在大数据分布式中，分区，分桶，分片是设计框架的重点。此篇就来总结各个框架。建议收藏目录 Hive分区与分桶 ES分片 Kafka分区 HBase分区 Kudu分区 Hive Hive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文...

2021-09-16

0 616

Kafka面试准备，收藏这一篇就够了！！！

现在在脑海过一遍以下问题，是否能够回忆清楚（后附解析参考）为什么要用消息队列？为什么选择了kafka? kafka的组件与作用(架构)？ kafka为什么要分区？ Kafka生产者分区策略？ kafka的数据可靠性怎么保证？(丢，重) kafka的副本机制？...

2021-09-16

0 792

探知FlinkSQL背后默默支撑的“男人们“

主要内容本篇主要从FlinkSQL实现的内核与原理，工作流等的视角带大家构建一幅FlinkSQL全景图（以Blink为主介绍），探知背后支撑的“男人们”(组件)。建议收藏，仅此一份。主要内容： 1. Table API 与 SQL 2. Apache Calcite ...

2021-09-16

0 340