0.准备 虚拟机:centos7 mini(已关闭防火墙,配置本机免密,映射) java环境:jdk1.8 远程连接工具:xshell6 家庭/学校版 hadoop版本:hadoop2.8.5 操作用户:root 1.下载解压 所在目录: /opt/soft [root@localhost soft]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz [root@localhost soft]# tar -zxvf hadoop-2.8.5.t...

1.官网连接 https://www.netsarang.com/zh/free-for-home-school/ 2.点击下载 3.邮箱收件 4.点击下载好的两个可执行文件 xshell会自动覆盖原先的试用版(第一次使用的可能会引导安***r> xftp好像把我原来的删除掉了,再次执行就变成安装了…

第一步 1、在hadoop集群每个节点上安装lzo和lzop及其依赖(主要为解决安装lzop)： yum -y install *lzo* 2. 安装准备： [root@hadoop01 home]# yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool 3.下载 [root@hadoop01 home]# wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz 4.解压编译 [root@hadoop01 home]# ta...

一:下载安装 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz tar -zxvf datax.tar.gz -C /usr/local/ 二: 官方文档https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md 三:简单案例 (1)stream—>stream [root@hadoop01 home]# cd /usr/local/datax/ [root@hadoop01 datax]# vi ./job/first...

1 数据: id userid subject score 1 001 语文 90 2 001 数学 92 3 001 英语 80 4 002 语文 88 5 002 数学 90 6 002 英语 75.5 7 003 语文 70 8 003 数学 85 9 003 英语 90 10 003 政治 82 目标输出 userid 语文 数学 英语 政治 total 001 90 92 80 0 262 002 88 90 75.5 0 253.5 003 70 85 90 82 327 total 248 267 245.5 82 842.5 建表: create table i...

答案是我自己写的,有不同看法的欢迎讨论 1.编写sql实现每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数 数据: A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 B,2015-02,10 B,2015-02,5 A,2015-03,16 A,2015-03,22 B,2015-03,23 B,2015-03,10 B,2015-03,1 建表: create table if not exi...

版权声明：转载，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接： https://blog.csdn.net/weixin_43326165/article/details/100747147 实现 定义一个类，继承UDF,然后写evaluate方法 查看UDF类，会发现并没有这个方法(版本1.2.1)))，所以说重写有点牵强~ 源码中这样写到： Implement one or more methods named {@code evaluate} which will ...

今天突然遇到hive不能正常启动的问题 主机提示拒绝连接 之前一直好好的啊… jps查看发现runjar运行了 hdfs也启动了啊,等等…第二台的namenode没有开启,第一台的namenode提示standby 我有HA啊wtf?? 解决: 修改了第二台ifcfg-ens33的DNS1为自己的网关试试 重新启动hdfs发现两台的namenode都开起了,打开50070,果然handoop01的状态为active,第二台为standby,正常了 猜测可能是内部通信的问题(因为我免密早就配好了,没出过毛病),所以wifi和有线真的不一样! 重新启动hive nice

一.日期函数 注:函数对应的代码块的第一句都是执行desc function 函数名;得到的内容 1.from_unixtime(,): from_unixtime(unix_time, format) - returns unix_time in the specified format 以指定的格式返回时间戳(转成日期) select from_unixtime(1568201852,'yyyy-MM-dd HH:mm:ss'); ---> 2019-09-11 19:37:32 select from_unixtime(1568207531,'yyyy');--&gt...

注:坑还没踩完 注:到目前为止这是一篇宣告失败的博客 最近翻到了一篇大佬的博客Github上的开源工具帮助你实现“十一”回家的愿望,又赶上中秋节和国庆,很多人想回家都面临着买票的难题. 虽然我不会python,但今天就来试一试这个工具如何使用. 特别说明：本项目属于爬虫类项目，如果商用可能会有法律风险，请各位读者谨慎使用，如果由于根据本文使用12306自动抢票软件引发法律纠纷，笔者并不承担。 我使用的平台是centos7-minimal,默认python是2.7.5,但这个工具需要3.6及以上版本,所以要先升个级 用户为root,如果你是普通用户遇到了权限问题,请使用su root ...

hive的分区表： 分区意义： 避免全表扫描，从而提高查询效率。默认使用全表扫描。 使用什么分区？ 日期、地域、能将数据分散开来？ 分区技术： [PARTITIONED BY (COLUMNNAME COLUMNTYPE [COMMENT 'COLUMN COMMENT'],...)] 1、hive的分区名区分大小写 2、hive的分区字段是一个伪字段，但是可以用来进行操作 3、一张表可以有一个或者多个分区，并且分区下面也可以有一个或者多个分区。 4、分区字段使用表外字段 本质： 在表的目录或者是分区的目录下再创建目录，分区的目录名为指定字段=值(比如:dt=2019-09-09) ...

版权声明：转载，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接： https://blog.csdn.net/qq_36525906/article/details/83342413 并没有期末只有前面的章节 https://blog.csdn.net/qq_36525906/article/details/83342651 刷课脚本 第0章 绪论 第一章 人类文化系统的审美特征 第二章 西方文化体系的审美特征-聚焦造型艺术 ...

版权声明：转载，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接： https://blog.csdn.net/qq_36525906/article/details/84069263 章节测试的答案 </div> <link href="https://csdnimg.cn/release/phoenix/mdeditor/markd...