福大大架构师每日一题

福大大架构师每日一题

/ 注册

全部文章 / 福大大架构师每日一题（共1000篇）

2020-08-18：介绍下MR过程？来自专栏

福哥答案2020-08-18：来自【MapReduce执行过程及运行原理详解】答案MapReduce执行的4个阶段，分别为Split阶段—> Map阶段 —> Shuffle阶段 —> Reduce阶段。

大数据

2020-08-18

3 0

2020-08-17：详细说下数据倾斜怎么解决？来自专栏

福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个...

大数据

2020-08-17

5 934

2020-08-16：数据任务是怎么优化的？（数据倾斜，参数相关调节）来自专栏

福哥答案2020-08-16：此答案【来自华为云社区】的【阿刚】一问题背景项目中遇到大数据任务执行时间比较长，需要进行优化，使得大数据的任务执行时间优化至客户可以接受的时间。二原因分析l 业务场景分析本场景下的大数据任务主要对数据进行mapreduce操作，该任务包含两个子任务，第一个子...

大数据

2020-08-16

3 572

2020-08-15：什么情况下数据任务需要优化？来自专栏

福哥答案2020-08-16：知乎答案1.数据任务执行过慢，速度不能满足报表需求，例如每小时的报表，执行时间超过1小时了，第二小时的报表任务又来了。2.占用过多资源，跑这个任务的时候，整个集群的资源全被吃掉了，或者吃掉很多，影响了线上在线正常业务，这就非常需要优化。一般考虑先移出到其他集群，停止对线...

大数据

2020-08-16

3 636

2020-08-14：数据任务的执行引擎用的哪些？来自专栏

福哥答案2020-08-14：知乎答案最基础的是 crontab 定时任务。考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。大数据处理框架一般用的是DAG（有向无环图）工作流类调度系统，通过DAG图描述任务之间的复杂的依赖关系。...

大数据

2020-08-14

3 596

2020-08-13：Hadoop生态圈的了解？来自专栏

福哥答案2020-08-13：该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。 2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。 3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。 ...

大数据

2020-08-13

3 539

2020-08-12：数据仓库是怎么分层的？来自专栏

福哥答案2020-08-12：知乎答案一般都是分 ODS -> DW -> APP：ODS（Operational Data Store）就是将各种数据源的数据，经过清洗整理到这里的这一层。一般涉及各种ETL工具，我们用的时sqoop。DW（Data WareHouse），数据仓库层，...

大数据

2020-08-12

3 722

2020-08-11：一颗现代处理器，每秒大概可以执行多少条简单的MOV指令，有哪些主要的影响因素？来自专栏

福哥答案2020-08-11：知乎答案MOV 指令将源操作数复制到目的操作数，是最基本的指令。首先就和CPU主频最相关。其次，也和IPC效率强相关，涉及到了操作数据的预读取，指令预编译，内存stall，并行执行等等。参考答案及格：每执行一条mov指令需要消耗1个时钟周期，所以每秒执行的mov 指...

架构师分布式

2020-08-11

3 484

2020-08-10：如何不用加减乘除求浮点数的2倍值？来自专栏

福哥答案2020-08-10：浮点数=符号位+阶码+尾数，阶码加1就是浮点数的2倍值。代码用golang编写，如下： package test33_add import ( "fmt" "math" "testing&qu...

算法

2020-08-10

3 404

2020-08-09：如何实现两金额数据相加（最多小数点两位）？来自专栏

福哥答案2020-08-09： 1.整数存储。比如1.23元，用123存储。2.字符串存储。比如1.23元，用"123.00"存储。3.高精度浮点数存储。比如java里用BigDecimal，c#里用decimal。有精度损失。参考答案其实问题并不难，就是考察候选人对 Java...

算法架构师分布式

2020-08-09

3 589