本文基于研发云AlphaCloud环境下Hive搭建的记录。
前期准备
部署包下载
为节约时间,建议提前下载好安装包。
- hive元数据管理mysql数据库连接依赖包:mysql-connector-java-5.1.40-bin.jar
- hive部署包:apache-hive-2.3.4-bin.tar.gz
集群环境
- hadoop版本:hadoop-2.7.7
- jdk版本:jdk-8u191-linux-x64.tar.gz
- mysql版本:mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz
依赖环境
如果没有hadoop环境,可以参考 虚拟机环境下 Hadoop2.7.7 的集群搭建 搭建。
hive的元数据是通过关系型数据库来管理的,本文采用mysql数据库。如果没有安装mysql,可以参考 虚拟机环境下 mysql5.7.25 的安装。
在mysql数据库中为hive创建用户
1 | mysql> alter user 'hive'@'localhost' identified by 'hive'; |
目录规范
约定将hive安装到 master 节点上。
- 软件安装目录: /home/hadoop/tools
- 安装包存放目录:/home/hadoop/tools/package
hive-2.3.4安装及配置
上传解压
1 | scp apache-hive-2.3.4-bin.tar.gz hadoop@10.10.10.10:~/tools/package/ |
将mysql-connector-java-5.1.40-bin.jar包上传至/home/hadoop/tools/apache-hive-2.3.4-bin/lib下。
配置hive的系统环境变量
1 | vim /etc/profile |
创建hive的配置文件
从hive安装包的conf目录下复制创建以下配置文件:
1 | [hadoop@jms-master-01 conf]$ cp hive-env.sh.template hive-env.sh |
主要编辑两个文件即可:hive-env.sh和hive-site.xml
hive-env.sh
1 | [hadoop@jms-master-01 conf]$ cat hive-env.sh |
hive-site.xml
修改配置:
1 | hive.exec.scratchdir |
1 | <property> |
创建Hive的 HDFS目录
1 | [hadoop@jms-master-01 ~]$ hdfs dfs -mkdir /tmp |
启动hive
初始化
1 | [hadoop@jms-master-01 bin]$ /home/hadoop/tools/apache-hive-2.3.4-bin/bin/schematool -dbType mysql -initSchema |
启动
1 | [hadoop@jms-master-01 bin]$ hive |
测试
创建一张表
准备一个hive表的数据文件
1 | vim first_table.txt |
创建第一张hive表
1 | hive> create table first_table(id int, name string, age int) row format delimited fields terminated by '\t' stored as textfile; |
至此,hive环境搭建成功。
本文作者:
Jeff.R
本文链接: https://stefanxiepj.github.io/archives/80740cc0.html
版权声明: 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处!
本文链接: https://stefanxiepj.github.io/archives/80740cc0.html
版权声明: 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处!
![知识共享许可协议](https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png)