一、Hive的概述；

二、Hive的體系架構(gòu)；

三、探討Hadoop全家（生態(tài)圈）；

四、Hive與傳統(tǒng)數(shù)據(jù)庫相比；

五、Hive的數(shù)據(jù)模型（自主學(xué)習(xí)）；

六、搭建Haoop 2.7.6結(jié)合hive2.3.3實現(xiàn)數(shù)據(jù)倉庫管理；

一、Hive的概述；

背景：Hive起源于Facebook（一個美國的社交服務(wù)網(wǎng)絡(luò)）。Facebook有著大量的數(shù)據(jù)，而Hadoop是一個開源的MapReduce實現(xiàn)，可以輕松處理大量的數(shù)據(jù)。但是MapReduce程序?qū)τ贘ava程序員來說比較容易寫，但是對于其他語言使用者來說不太方便。此時Facebook最早地開始研發(fā)Hive，它讓對Hadoop使用SQL查詢（實際上SQL后臺轉(zhuǎn)化為了MapReduce）成為可能，那些非Java程序員也可以更方便地使用。hive最早的目的也就是為了分析處理海量的日志；

概述：hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能， Hadoop 通常都有較高的延遲并且在作業(yè)提交和調(diào)度的時候需要大量的開銷。因此Hive并不能夠在大規(guī)模數(shù)據(jù)集上實現(xiàn)低延遲快速的查詢，例如，Hive 在幾百MB 的數(shù)據(jù)集上執(zhí)行查詢一般有分鐘級的時間延遲；

  Hive可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運行。其優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析；

二、Hive的體系架構(gòu)；

體系架構(gòu)：

1.用戶接口主要有三個：CLI，Client 和 WUI。其中最常用的是CLI，Cli啟動的時候，會同時啟動一個Hive副本。Client是Hive的客戶端，用戶連接至Hive Server。在啟動 Client模式的時候，需要指出Hive Server所在節(jié)點，并且在該節(jié)點啟動Hive Server。WUI是通過瀏覽器訪問Hive；
2.Hive將元數(shù)據(jù)存儲在數(shù)據(jù)庫中，如mysql、derby。Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等；
3.解釋器、編譯器、優(yōu)化器完成HQL查詢語句從詞法分析、語法分析、編譯、優(yōu)化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，并在隨后有MapReduce調(diào)用執(zhí)行；
4.Hive的數(shù)據(jù)存儲在HDFS中，大部分的查詢、計算由MapReduce完成；

Hive執(zhí)行請求的流程：

三、探討Hadoop全家（生態(tài)圈）；

https://www.sohu.com/a/218420440_505794                            ##Hadoop全家

https://www.cnblogs.com/zhangwuji/p/7594725.html              ##Hadoop發(fā)展史

四、Hive與傳統(tǒng)數(shù)據(jù)庫相比；

 由于Hive采用了SQL的查詢語言HQL，因此很容易將Hive理解為數(shù)據(jù)庫。其實從結(jié)構(gòu)上來看，Hive和數(shù)據(jù)庫除了擁有類似的查詢語言，再無類似之處。數(shù)據(jù)庫可以用在Online的應(yīng)用中，但是Hive是為數(shù)據(jù)倉庫而設(shè)計的，清楚這一點，有助于從應(yīng)用角度理解Hive的特性；

五、Hive的數(shù)據(jù)模型（自主學(xué)習(xí)）；

概述：對于數(shù)據(jù)存儲，Hive沒有專門的數(shù)據(jù)存儲格式，也沒有為數(shù)據(jù)建立索引，用戶可以非常自由的組織Hive中的表，只需要在創(chuàng)建表的時候告訴Hive數(shù)據(jù)中的列分隔符和行分隔符，Hive就可以解析數(shù)據(jù)。Hive中所有的數(shù)據(jù)都存儲在HDFS中，存儲結(jié)構(gòu)主要包括數(shù)據(jù)庫、文件、表和視圖。Hive中包含以下數(shù)據(jù)模型：Table內(nèi)部表、External Table外部表、Partition分區(qū)、Bucket桶。自行百度Hive的數(shù)據(jù)模型；

六、搭建Haoop 2.7.6結(jié)合hive2.3.3實現(xiàn)數(shù)據(jù)倉庫管理；

案例環(huán)境：

案例步驟：

?安裝hive軟件程序；

?準(zhǔn)備hive的元數(shù)據(jù)存儲位置Mysql數(shù)據(jù)庫；

?準(zhǔn)備hive服務(wù)需要存儲文件的目錄；

?配置hive的配置文件；

?配置hive服務(wù)連接mysql數(shù)據(jù)庫的驅(qū)動；

?初始化hive連接mysql數(shù)據(jù)庫；

?啟動并連接hive服務(wù)；

?學(xué)習(xí)hive中的管理操作；

?將文件內(nèi)容導(dǎo)入到hive的表中；

?通過web頁面查看HDFS文件系統(tǒng)中的數(shù)據(jù)；

?通過mysql管理控制臺驗證mysql中存儲的hive的元數(shù)據(jù)；

?安裝hive軟件程序；

[root@master ~]# ls /root/apache-hive-2.3.3-bin.tar.gz

/root/apache-hive-2.3.3-bin.tar.gz

[root@master ~]# tar zxvf /root/apache-hive-2.3.3-bin.tar.gz

[root@master ~]# mv apache-hive-2.3.3-bin/ /usr/local/hive

[root@master ~]# chown hadoop:hadoop /usr/local/hive/ -R

[root@master ~]# vi /etc/profile

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HIVE_HOME/bin

export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

[root@master ~]# source /etc/profile

?準(zhǔn)備hive的元數(shù)據(jù)存儲位置Mysql數(shù)據(jù)庫；

[root@master ~]# yum -y install mariadb-server mariadb

[root@master ~]# sed -i 's/\[mysqld\]/\[mysqld\]\nskip_name_resolve/g' /etc/my.cnf

##注：需要關(guān)閉mysql服務(wù)器的反向解析，不然會在初始化myssql數(shù)據(jù)庫時出現(xiàn)反向解析情況，無法初始化

[root@master ~]# systemctl start mariadb

[root@master ~]# systemctl enable mariadb

Created symlink from /etc/systemd/system/multi-user.target.wants/mariadb.service to /usr/lib/systemd/system/mariadb.service.

[root@master ~]# mysqladmin -uroot password

[root@master ~]# mysql -uroot -p123123

MariaDB [(none)]> grant all on *.* to root@'192.168.100.101' identified by '123123';

MariaDB [(none)]> flush privileges;

MariaDB [(none)]> exit

?準(zhǔn)備hive服務(wù)需要存儲文件的目錄；

[root@master ~]# su - hadoop

[hadoop@master ~]$ hadoop   fs   -mkdir   -p   /user/hive/warehouse

[hadoop@master ~]$ hadoop   fs   -chmod   777   /user/hive/warehouse

[hadoop@master ~]$ hadoop   fs   -mkdir  -p   /tmp/hive/

[hadoop@master ~]$ hadoop   fs   -chmod  777   /tmp/hive

[hadoop@master ~]$ hadoop   fs   -ls /

Found 2 items

drwxr-xr-x   - hadoop supergroup          0 2018-08-27 20:51 /tmp

drwxr-xr-x   - hadoop supergroup          0 2018-08-27 20:51 /user

[hadoop@master ~]$ mkdir /usr/local/hive/tmp

[hadoop@master ~]$ mkdir /usr/local/hive/tmp/root

?配置hive的配置文件；

[hadoop@master ~]$ cp /usr/local/hive/conf/hive-default.xml.template /usr/local/hive/conf/hive-site.xml

[hadoop@master ~]$ mv /usr/local/hive/conf/hive-env.sh.template /usr/local/hive/conf/hive-env.sh

[hadoop@master ~]$ vi /usr/local/hive/conf/hive-site.xml

 364  

 365     hive.metastore.warehouse.dir

 366     /user/hive/warehouse

 367     指定hdfs上存放hive的實體數(shù)據(jù)位置

 368  

  37  

  38     hive.exec.scratchdir

  39     /tmp/hive

  40     指定hdfs上存儲hive的臨時文件的位置

  41  

  73  

  74     hive.exec.local.scratchdir

  75     /usr/local/hive/tmp/root/

  76     指定hive本地服務(wù)器的本地目錄

  77  

  78  

  79     hive.downloaded.resources.dir

  80     /usr/local/hive/tmp/${hive.session.id}_resources

  81     指定hive本地服務(wù)器的session會話文件的存儲位置

  82  

1683  

1684     hive.querylog.location

1685     /usr/local/hive/tmp/root/

1686     指定hive本地服務(wù)器的日志文件存放位置

1687  

3974  

3975     hive.server2.logging.operation.log.location

3976     /usr/local/hive/tmp/root/operation_logs

3977     指定hive本地服務(wù)器的日志文件存放位置

3978  

 543  

 544     javax.jdo.option.ConnectionURL

 545     jdbc:mysql://192.168.100.101:3306/hive?createDatabaseIfNotExist=true

 546     指定hive的元數(shù)據(jù)所存儲的mysql的ip、端口、數(shù)據(jù)庫名

 550    

 551  

1018  

1019     javax.jdo.option.ConnectionDriverName

1020     com.mysql.jdbc.Driver

1021     指定連接mysql數(shù)據(jù)庫的驅(qū)動類型

1022  

1043  

1044     javax.jdo.option.ConnectionUserName

1045     root

1046     指定連接mysql數(shù)據(jù)庫的用戶名

1047  

 528  

 529     javax.jdo.option.ConnectionPassword

 530     123123

 531     指定連接mysql數(shù)據(jù)庫的密碼

 532  

744  

 745     hive.metastore.schema.verification

 746     false

 747     關(guān)閉元數(shù)據(jù)的文件檢查

 753    

 754  

:wq

[hadoop@master ~]$ vi /usr/local/hive/conf/hive-env.sh                     ##設(shè)置hive的環(huán)境變量

export  HADOOP_HOME=/usr/local/hadoop

export  HIVE_CONF_DIR=/usr/local/hive/conf

export  HIVE_AUX_JARS_PATH=/usr/local/hive/lib

:wq

?配置hive服務(wù)連接mysql數(shù)據(jù)庫的驅(qū)動；

[hadoop@master ~]$ wget https://cdn.//Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

[hadoop@master ~]$ ls mysql-connector-java-5.1.46.tar.gz

mysql-connector-java-5.1.46.tar.gz

[hadoop@master ~]$ tar zxvf  mysql-connector-java-5.1.46.tar.gz

[hadoop@master ~]$ cp /home/hadoop/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46.jar /usr/local/hive/lib/

[hadoop@master ~]$ ls /usr/local/hive/lib/mysql-connector-java-5.1.46.jar

/usr/local/hive/lib/mysql-connector-java-5.1.46.jar

?初始化hive連接mysql數(shù)據(jù)庫；

[hadoop@master ~]$ /usr/local/hive/bin/schematool -dbType mysql -initSchema

?啟動并連接hive服務(wù)；

[hadoop@master ~]$ hive

hive> show databases;

OK

default

Time taken: 4.695 seconds, Fetched: 1 row(s)

?學(xué)習(xí)hive中的管理操作；

hive> show functions;                                                        ##查看可用函數(shù)

OK

!

!=

$sum0

%

&

*

+

-

/

<

<=

...

hive> desc function sum;                                                 ##查看函數(shù)詳細(xì)信息

OK

sum(x) - Returns the sum of a set of numbers

Time taken: 0.006 seconds, Fetched: 1 row(s)

hive> create database linuxfan;                                          ##創(chuàng)建數(shù)據(jù)庫linuxfan

OK

Time taken: 0.282 seconds

hive> show databases;                                         

OK

default

linuxfan

Time taken: 0.023 seconds, Fetched: 2 row(s)

hive> use linuxfan;

OK

Time taken: 0.025 seconds

hive> create table t1(id int,name string) row format delimited fields terminated by '\t';

##創(chuàng)建表并且指定字段id和字段name之間的分隔使用\t制表符；

OK

Time taken: 0.581 seconds

hive> show tables;

OK

t1

Time taken: 0.042 seconds, Fetched: 1 row(s)

hive> exit;

?將文件內(nèi)容導(dǎo)入到hive的表中；

[hadoop@master ~]$vi ./1.txt                                          ##001和zs之間必須手動敲tab鍵，不得復(fù)制粘貼

001       zs

002       ls

003       ww

004       xm

[hadoop@master ~]$ hive

hive> load   data  local   inpath   '/home/hadoop/1.txt'   into   table  linuxfan.t1;

Loading data to table linuxfan.t1;

OK

Time taken: 6.277 seconds

hive> select * from linuxfan.t1;

OK

1       zs

2       ls

3       ww

4       xm

Time taken: 1.861 seconds, Fetched: 4 row(s)

hive> exit;

?通過web頁面查看HDFS文件系統(tǒng)中的數(shù)據(jù)；

?通過mysql管理控制臺驗證mysql中存儲的hive的元數(shù)據(jù)；