■ はじめに

https://dk521123.hatenablog.com/entry/2019/12/28/021109
https://dk521123.hatenablog.com/entry/2020/01/02/000000
https://dk521123.hatenablog.com/entry/2019/11/25/235219

で、Hive の環境設定を行った。
今回は、HiveQL の Hello World 的なことを行う。

【１】基本文法
【２】hiveコマンド実行
　１）HIVEを開始する
　２）DBを作成する
　３）データベース一覧表示
　４）指定したDBを使う
　５）テーブルを作成する
　６）テーブル一覧表示
　７）テーブル定義表示
　８）HIVEから出る
【３】外部ファイルを実行する

【１】基本文法

以下の関連記事を参照のこと

https://dk521123.hatenablog.com/entry/2020/06/02/183823

【２】hiveコマンド実行

１）HIVEを開始する

hive

# エラー「java.net.ConnectException: Connection refused」が
# 発生したら、以下を行う
stop-all.sh
hadoop namenode -format
start-all.sh

https://stackoverflow.com/questions/28661285/hadoop-cluster-setup-java-net-connectexception-connection-refused

２）DBを作成する

hive> CREATE DATABASE demo_db;

３）データベース一覧表示

# 作成したDBを確認
hive> SHOW DATABASES;

４）指定したDBを使う

# 作成したDBを指定する
hive> USE demo_db;

５）テーブルを作成する

hive> CREATE TABLE fruits(id BIGINT, name STRING, price INT);

６）テーブル一覧表示

# 作成したテーブルを確認
hive> SHOW TABLES;

# おまけ：「SHOW CREATE TABLE <table_name>;」
# 既存のテーブル定義を出力してくれる
hive> SHOW CREATE TABLE fruits;

７）テーブル定義表示
http://kiyohime.hatenablog.com/entry/2013/12/10/185406

hive> DESC fruits;

# EXTENDED で詳細説明表示
hive> DESC EXTENDED fruits;

# FORMATTEDで詳細説明表示(見やすいよう整形)
hive> DESC FORMATTED fruits;

８）HIVEから出る

hive> exit;

【３】外部ファイルを実行する

hive --hivevar key1=demo_db --hiveconf key2=hello_table -f hello.hql

hello.hql

-- なかったらDB作成
CREATE DATABASE IF NOT EXISTS ${hivevar:key1};

USE ${hivevar:key1};

-- テーブル作成
DROP TABLE IF EXISTS ${hiveconf:key2};

CREATE EXTERNAL TABLE ${hiveconf:key2} (
  `id` BIGINT,
  `name` STRING
)
PARTITIONED BY (created_date BIGINT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
LOCATION '/home/user/hello';

/home/user/hello/created_date=20200602/hello.csv

1,Mike
2,Tom
3,Kevin
4,Sam

確認コマンド

hive

hive> show databases; # demo_db があることを確認
hive> show tables; # hello_tableがあることを確認

参考文献

https://qiita.com/zaburo/items/202abc3be628301b277e
http://labs.opentone.co.jp/?p=1860
https://www.atmarkit.co.jp/ait/articles/1701/01/news022.html
INSERT
https://jp.alibabacloud.com/help/doc-detail/73775.htm

プログラムの超個人的なメモ

Memo for Programming.

【Hive】Hive / HiveQL ～入門編～

■ はじめに

目次

【１】基本文法

【２】hiveコマンド実行

【３】外部ファイルを実行する

参考文献

関連記事