◾️はじめに
Databricks のハンズオンをやったので、メモ
目次
【１】Databricks Free Edition １）使用上の注意 【２】Databricks Free Edition セットアップ 【３】Hello world １）手順 【４】触ってみた感想・メモ
【１】Databricks Free Edition
* Databricks の無料バージョン => 詳細は、以下のサイト参照
https://qiita.com/taka_yayoi/items/33e9cfa7ca9ca9febe72
* Databricksノートブック と言って、 Jupyter Notebookのような感じで動かせる
１）使用上の注意
* 無料版なので色々と制限がある => 特に、複数のノートブックから右上の「接続」からサーバレスに接続した際、 実行時にMax Retried Errorが発生する場合があるため 使っていない場合サーバレスコンピュートを停止した方がいい
【２】Databricks Free Edition セットアップ
[1] 以下のサイトをアクセスする
https://www.databricks.com/jp/try-databricks
[2] [無料トライアル]-[クイックセットアップを続行]を選択 [3] 以下のいずれかを選ぶ * Google account * Microsoft account * Email <- 今回、こちらを選択。するとEmail宛にランダム文字が送られる
【３】Hello world
* 以下のサイトを参考にするといい
https://qiita.com/taka_yayoi/items/d45da4e3048b35152208
１）手順
[1] 以下のGithubから必要なファイルをダウンロードする
https://github.com/taka-yayoi/databricks_free_edition_tutorial
[2] Databricks Free Editionに接続
[3] [Connect]-[Serverless]を選択しサーバレスコンピュートを起動
[4] [Workspace]を選択し、[1]のファイルをインポートする
=> Windowsなら右クリックで[Import]を選択
[5] 後は以下を順にやっていく
* 0. My first Databricks.ipynb
* 1. Unity Catalog.ipynb
* 2. PySpark transformation.ipynb
* 3. ML Tutorial.ipynb
=> 「0. My first Databricks.ipynb」の「print("Hello Databricks!")」を
実行してみて「Hello Databricks!」が表示されたらOK
【４】触ってみた感想・メモ
* 以下の関連記事で扱ったdbt のデータリネージ（Data Lineage）が デフォルトでクリックだけで確認できる
dbt CLI ～ ドキュメント化 / dbt docs ～
https://dk521123.hatenablog.com/entry/2023/12/10/125512
より抜粋 〜〜〜 １）データリネージ（Data Lineage）とは * データ源泉（source）から現在地点までのデータ変遷のことで データ（テーブル）がどう結びついているを把握することができる cf. Lineage(リネージ) = 血統, 系統 〜〜〜
