Melo丶

分类

Git(1) LeetCode(76) MySQL(1) Python知识点(8) sklearn(1) spark(15) Tensorflow(5) 数据挖掘(1) 爬虫(1) 算法和数据结构(143)

/ 注册

全部文章（共252篇）

【Python3实战Spark大数据分析及调度】第7章 Spark Core调优

History Server Spark的UI界面端口默认4040，只能在Application运行的时候维持。修改参数使得spark保存运行日志和UI界面，端口改为18080 位置改完之后的UI界面序列化序列化的作用：Shuffle的时候需要进行网络传输时，需要将数据序...

2020-09-18

0 530

【Python3实战Spark大数据分析及调度】第8章 Spark SQL

Spark SQL 前世今生 Spark SQL是Spark上运行SQL的模块 Hive on Spark是在Hive的基础上添加了Spark的执行引擎两者是不同的 metastore，元数据，比如表的名字、表存在的位置、有哪些字段、顺序类型等等。存储在MySQL里面。好处是在Hive创建了...

2020-09-18

0 711

【Python3实战Spark大数据分析及调度】第9章 Spark Streaming

Spark Streaming 概述 Spark Streaming 是Spark Core的扩展，能够水平扩展，高吞吐量，有容错机制的进行对实时数据进行流处理。能够对接Kafka（常用），Flume等中的数据处理的数据能够写到文件系统，数据库或者dashboard上因为Spark Stre...

2020-09-18

0 701

【Python3实战Spark大数据分析及调度】第10 11章 Azkaban基础/实战篇

Azkaban 基础篇工作流概述：请假、借款 JavaEE：jBPM、Activiti 工作流调度系统的重要性 crontab的问题和优势：对于定时调度能够很好的执行，但是对于依赖调度束手无策，只能够估计时间常用的调度框架： Azkaban LinkedIn开源...

2020-09-18

0 544

【Python3实战Spark大数据分析及调度】第13章项目实战

企业级大数据开发流程企业级大数据应用企业级大数据分析平台目的和分析获得数据价值离线和实时 1）商业 2）自研数据量预估及集群规划一条日志300~500字节，一天1000w访问量，一个人访问5次，每天访问5个页面 DN：DataNode数量 NN：NameNo...

2020-09-18

0 889

Leetcode 题解 - 哈希表

Leetcode-217. 存在重复元素给定一个整数数组，判断是否存在重复元素。如果任何值在数组中出现至少两次，函数返回 true。如果数组中每个元素都不相同，则返回 false。示例 1: 输入: [1,2,3,1] 输出: true 示例 2: 输入: [1,2,3,4] 输...

2020-09-18

0 462

Leetcode 题解 - 数组与矩阵

Leetcode-283. 移动零把数组中的 0 移到末尾输入: [0,1,0,3,12] 输出: [1,3,12,0,0] 说明: 必须在原数组上操作，不能拷贝额外的数组。尽量减少操作次数。解法： Java class Solution { p...

2020-09-18

0 714

Leetcode 题解 - 位运算

Leetcode-461. 汉明距离两个整数之间的汉明距离指的是这两个数字对应二进制位不同的位置的数目。给出两个整数 x 和 y，计算它们之间的汉明距离。注意： 0 ≤ x, y < 231. 示例: 输入: x = 1, y = 4 输出: 2 解释: 1 (0 0 ...

2020-09-18

0 512

Leetcode 题解 - 树

递归一棵树要么是空树，要么有两个指针，每个指针指向一棵树。树是一种递归结构，很多树的问题可以使用递归来处理。 Leetcode-104. 二叉树的最大深度给定一个二叉树，找出其最大深度。二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。说明: 叶子节点是指没有子节点的节点。 ...

2020-09-18

0 555

Leetcode 题解 - 动态规划

递归和动态规划都是将原问题拆成多个子问题然后求解，他们之间最本质的区别是，动态规划保存了子问题的解，避免重复计算。斐波那契数列 Leetcode-70. 爬楼梯假设你正在爬楼梯。需要 n 阶你才能到达楼顶。每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？注意：...

2020-09-18

0 1516