流918

分类

Elasticsearch(1) hadoop(1) Hadoop权威指南(2) hbase(1) IDEA的使用(1) java基础知识(5) linux一些问题(2) scala(1) spark(4) storm(2) zookeeper(3) 剑指offer(3) 未归档(81) 算法(24) 网络通信(3) 设计模式(2)

/ 注册

全部文章（共136篇）

ccf考试201809_1之卖菜

问题描述　　在一条街上有n个卖菜的商店，按1至n的顺序排成一排，这些商店都卖一种蔬菜。　　第一天，每个商店都自己定了一个价格。店主们希望自己的菜价和其他商店的一致，第二天，每一家商店都会根据他自己和相邻商店的价格调整自己的价格。具体的，每家商店都会将第二天的菜价设置为自己和相邻商店第一天菜价的平...

2019-03-07

0 372

ccf考试201812_3之 CIDR合并

代码评分：60 总结：考场中这种代码的工程量很大，需要不断地调试很费时间，不如得一部分分数就放手 import java.util.ArrayList; import java.util.List; import java.util.Scanner; public class test2 { ...

2019-03-06

0 637

ccf考试201812_2之小明放学

题目背景　　汉东省政法大学附属中学所在的光明区最近实施了名为“智慧光明”的智慧城市项目。具体到交通领域，通过“智慧光明”终端，可以看到光明区所有红绿灯此时此刻的状态。小明的学校也安装了“智慧光明”终端，小明想利用这个终端给出的信息，估算自己放学回到家的时间。问题描述　　一次放学的时候，小明已经...

2019-03-06

0 861

ccf考试201812-1之小明上学

题目背景　　小明是汉东省政法大学附属中学的一名学生，他每天都要骑自行车往返于家和学校。为了能尽可能充足地睡眠，他希望能够预计自己上学所需要的时间。他上学需要经过数段道路，相邻两段道路之间设有至多一盏红绿灯。　　京州市的红绿灯是这样工作的：每盏红绿灯有红、黄、绿三盏灯和一个能够显示倒计时的显示牌。...

2019-03-06

0 711

sparkstreaming实时流处理项目（三）

1.产生日志编写一段py脚本模拟数据的产生： #!/usr/bin/env python # -*- coding:utf-8 -*- #@Time : 2019/3/3 21:01 #@Author: qianliu #@File : __init__.py.py import random...

2019-03-03

0 499

sparkstreaming实时流处理项目（二）

1.log4j的日志采集到flume log4j.properties如下，这样可以将控制台的信息输出到flume中： #配置 log4j.rootLogger=INFO,stdout,flume #stdout log4j.appender.stdout = org.apache.log4j...

2019-03-03

0 648

sparkstreaming实时流处理项目（一）

1.项目流程 2.CentOS上的一些文件目录为/home/hadoop 3.环境配置 cat ~/.bash_profile # .bash_profile #Get the aliases and functions if [ -f ~/.bashrc ]; then ...

2019-03-03

0 452

hive报错SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

启动hive没有问题，但是当执行show tables或者create database xxx时，报错 hive> create database spark; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.Hiv...

2019-02-17

0 2002

spark提交任务的流程

1.spark任务提交阶段划分 spark提交任务分为五个状态，五个状态之间的有四个转换过程：（1）根据代码中的Transformations确定RDD。（2）根据RDD确定RDD的类型和它们之间的血统关系，生成一个DAG。（3）将DAG提交给DAGScheduler来划分出不同的task...

2019-02-15

0 675

跟踪wordcount源码了解spark的每个RDD执行过程

1.wordcount中的RDD关系执行wordcount： #初始化入参数 scala> val rdd1 = sc.parallelize(List(List("2","3,4","8,7"),List("1&qu...

2019-02-11

0 791