hive安装以及hive on spark-白红宇

hive安装以及hive on spark

阅读量：4969 次

发布时间：2019-06-12

本文共 2789 字，大约阅读时间需要 9 分钟。

spark由于一些链式的操作，spark 2.1目前只支持hive1.2.1

hive 1.2安装

到http://mirror.bit.edu.cn/apache/hive/hive-1.2.1/ 网址下载hive1.2.1的部署包

2.配置系统环境变量/etc/profile

export HIVE_HOME=/opt/hive-1.2.1export PATH=$PATH:$HIVE_HOME/binsource /etc/profile 使刚刚的配置生效

3. 解压

tar -xvf apache-hive-1.2.1-bin.tarmv apache-hive-1.2.1-bin /opt/hive-1.2.1

4.修改配置文件

可不做任何修改hive也能运行，默认的配置元数据是存放在Derby数据库里面的，大多数人都不怎么熟悉，我们得改用mysql来存储我们的元数据，以及修改数据存放位置和日志存放位置等使得我们必须配置自己的环境，下面介绍如何配置。

cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xmlcp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.shcp $HIVE_HOME/conf/hive-exec-log4j.properties.template $HIVE_HOME/conf/hive-exec-log4j.propertiescp $HIVE_HOME/conf/hive-log4j.properties.template $HIVE_HOME/conf/hive-log4j.properties

修改 hive-env.sh

vi $HIVE_HOME/conf/hive-env.sh

export HADOOP_HOME=/root/hadoop

export HIVE_CONF_DIR=/opt/hive-1.2.1/conf

修改 hive-log4j.properties

mkdir $HIVE_HOME/logsvi $HIVE_HOME/conf/hive-log4j.properties 修改log.dir的目录hive.log.dir=/opt/hive-1.2.1/logs

修改 hive-site.xml

rm -rf hive-site.xml

vim hive-site.xml


     
     
      
       
       
        hive.metastore.schema.verification
        
       
        false
        
       
         Enforce metastore schema version consistency. True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures proper metastore schema migration. (Default) False: Warn if the version information stored in metastore doesn't match with one from in Hive jars. 
        
       //mysql服务器地址 
       
       
        javax.jdo.option.ConnectionURL
        
       
        jdbc:mysql://localhost:3306/hive?createDatebaseIfNotExist=true
        
       
        jdbc
        
       
       
       
        javax.jdo.option.ConnectionDriverName
        
       
        com.mysql.jdbc.Driver
        
       
        driver class
        
       
       
       
        javax.jdo.option.ConnectionUserName
        
       
        admin
        
       
        jdbc
        
       
       
       
        javax.jdo.option.ConnectionPassword
        
       
        admin
        
       
        jdbc

导入mysql连接包

cp mysql-connector-java-5.1.17.jar $HIVE_HOME/lib //复制mysql驱动包

//该bin目录实在hive下的 ./bin/schematool -initSchema -dbType mysql

6.启动:

./bin/hive

SparkSQL与Hive的整合

1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/

2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加

export HIVE_HOME=/opt/hive-1.2.1

export SPARK_CLASSPATH=$HIVE_HOME/lib:$SPARK_CLASSPATH

3. 另外也可以设置一下Spark的log4j配置文件，使得屏幕中不打印额外的INFO信息:

log4j.rootCategory=WARN, console

(但还是有信息提示)

进入$SPARK_HOME/bin执行 spark-sql

转载于:https://www.cnblogs.com/zhangweilun/p/6607839.html

你可能感兴趣的文章