■ はじめに
トラブルシュートの切り分けの一環で、 HDFS内にファイルをインポートすることをやったのでメモ。
目次
【１】LOAD DATA 【２】CSVファイルをHDFS内にインポートする ０）前準備 １）LOAD DATA 実行
【１】LOAD DATA
* CSVなどのファイルをHiveテーブルに対してインポートできる
【２】CSVファイルをHDFS内にインポートする
以下のサイトが大変参考になりました。感謝。。。
https://qiita.com/niwasawa/items/ff8335e0d5f9a67b97fa
０）前準備
* 以下をhiveで実行する
コマンド例
-- [1] データベース作成 CREATE DATABASE sample_db LOCATION '/user/hive/warehouse'; -- [1] の確認 show databases; # [2] テーブル作成 CREATE TABLE sample_db.sample_table ( id STRING, name STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' STORED AS TEXTFILE LOCATION '/user/hive/warehouse/sample_db/sample_table' ; # [2] の確認 SHOW CREATE TABLE sample_db.sample_table;
インポートするCSV（/home/hadoop/sample.csv）
X0001,Mike X0002,Tom
１）LOAD DATA 実行
-- LOAD DATA を実行 LOAD DATA LOCAL INPATH 'file:/home/hadoop/sample.csv' INTO TABLE sample_db.sample_table; -- 確認 (サンプルデータが表示されたらOK！) SELECT * FROM sample_db.sample_table; OK X0001 Mike X0002 Tom Time taken: 0.333 seconds, Fetched: 2 row(s)
参考文献
https://atmarkit.itmedia.co.jp/ait/articles/0903/09/news094.html
関連記事
Hive / HiveQL ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2020/02/25/231235
Hive / HiveQL ～ 基本編 ～
https://dk521123.hatenablog.com/entry/2020/06/02/183823
Hive / HiveQL ～ テーブル作成 ～
https://dk521123.hatenablog.com/entry/2020/11/03/000000
Hive / HiveQL ～ データベース関連 ～
https://dk521123.hatenablog.com/entry/2022/05/12/150249
