■ はじめに 小ネタ。 今回は、DBTのaliases （エイリアス）を学んだので メモっておく 目次 【１】alias 【２】使いどころ 【３】構文 １）解説 【１】alias * テーブルなどを別名（＝alias）を付けることができる => モデルなどは、デフォルトだとファイル…

■ はじめに Docker で色々とトラブった際に使用したTipsを 徐々にまとめていく 目次 【１】docker ps でコンテナの状態チェック 【２】docker logs でコンテナのログチェック １）docker logsコマンド ２）-fオプション 【３】docker inspect で意図している…

■ はじめに DBT の pre-hook/post-hook について学んだのでメモ 目次 【１】公式ドキュメント 【２】Hooks １）pre-hook ２）post-hook 【３】サンプル 例１：モデルのバックアップ作成 【１】公式ドキュメント * 以下、参照。 https://docs.getdbt.com/docs…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 でも少し触れたが、DBT の ドキュメント化について 徐々にまとめていく 目次 【１】公式ドキュメント 【２】dbt docs コマンド ０）dbt docs -h １）dbt docs generate ２）dbt docs se…

■ はじめに Github Project について、徐々にまとめていく 目次 【１】Github Project 【２】機能 １）Board/Table/Roadmap 【３】プロジェクト作成 【４】リポジトリにプロジェクトを紐づける 【１】Github Project * プロジェクト管理機能 【２】機能 １）…

■ はじめに DBT の Source について、徐々にまとめていく 目次 【１】Source 【２】ベストプラクティス 【３】使い方 １）Source の宣言 ２）フォーマット 【４】Hello world １）準備 ２）サンプル 【１】Source * 変換の元となるデータを「ソース」と呼ぶ …

■ はじめに DBT での色々な更新について徐々にではあるがまとめていく 目次 【０】materialized １）incremental_strategy ２）is_incremental() 【２】使用上の注意 １）PostgreSQLの場合 【０】materialized cf. materialized = 具体化/具現化する https:/…

■ はじめに findコマンドをメモる 目次 【１】findコマンド 【２】オプション １）-typeオプション 【３】サンプル 【４】使用例 １）ファイル名検索 ２）ファイル削除 【１】findコマンド ファイル・ディレクトリ名を探すコマンド 【２】オプション １）-ty…

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、DROP ＋ CTAS（CREATE TABLE AS SELECT） について、深堀っていく 目次 【１】DROP & CTAS 【２】構文 【１】DROP & CTAS * DROP ＋ CTAS（CREATE TABLE AS SELECT） …

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で、Amazon WorkSpaces の Ubuntu Desktop を作成したのだが そのバンドルを作ることになったので、メモ。 目次 【１】WorkSpaces起動するための流れ 【２】用語整理 １）カスタムイメ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 の続き。 今回は、Dockerイメージを Pull & Pushをメモ。 目次 【１】リポジトリ作成 【２】環境構築を行う １）EC2 の Role…

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で Workspace 上で Ubuntu で VS Codeなどをインストールしている。 そこで、今回は、 Linux（Ubuntu）環境上で VS Code を動かすためのTipsを書き溜める 目次 【１】インストール １）…

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/24/000000 https://dk521123.hatenablog.com/entry/2023/11/23/000000 の Docker 版。小ネタ。 目次 【０】Docker の Proxy設定について 【１】Dockerサービス用のProxy設定手順 １）Docker用の …

■ はじめに dbt の macro (マクロ) について、徐々に学んでいく 【１】macro (マクロ) * 再利用可能なコードを作成する機能 => 元々は、テンプレートエンジン Jinja の機能 => Jinja のマクロについては、以下の関連記事を参照 Jinja ～ マクロ ～ https://d…

■ はじめに https://dk521123.hatenablog.com/entry/2018/09/22/142348 で、Pythonのテンプレートエンジンである Jinja を取り扱ったが 今回は、Jinjaの マクロについて扱う。 【１】マクロ機能 * 繰り返し出てくる記述を簡略化することができる機能 【２】…

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 https://dk521123.hatenablog.com/entry/2022/04/19/140219 の続き。 Amazon WorkSpaces の Ubuntu Desktop を扱うことにな…

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/25/231128 の続き。 今回は、DBTのModel について、徐々にTipsを書き溜めておく 目次 【１】config １）alias ２）schema ３）database サンプル 【２】変数 １）変数設定 ２）変数の参照 ３）サ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/30/000000 https://dk521123.hatenablog.com/entry/2023/05/30/151003 https://dk521123.hatenablog.com/entry/2023/11/20/230946 の続き。 dbt の モデル（Model）について、徐々に学んでみる 目…

■ はじめに Linux 上での Proxy 設定をメモしておく 目次 【１】基本：環境変数で設定 【２】恒久的に設定するには 【３】apt の場合 【１】基本：環境変数で設定 １）構文 export http_proxy="http://【ユーザID】:【パスワード】@【プロキシ・ホスト名】:…

■ はじめに Proxy接続環境下で、SBTを使えないので 徐々にメモる。 目次 【０】Proxy環境下で sbt コマンド実行した場合 【１】その１：環境変数を利用する 【２】その２：実行時に指定する 【０】Proxy環境下で sbt コマンド実行した場合 * 以下の関連記事…

■ はじめに 小ネタ。 docker を sudo なしで実行できるように設定する 目次 【１】docker を sudo なしで実行する 方法１：Ubuntuで確認 方法２：Amazon Linux2で確認 【２】補足：使用しているコマンド １）groupadd ２）usermod -aG ３）gpasswd ４）newgr…

【１】環境変数に関連するコマンド １）環境変数を設定する set [環境変数名]=[環境変数の値] 【例】 set JAVA_HOME=C:\Program Files\Java\jdk1.7.0_05 ２）環境変数一覧表示 set 関連記事 【Linux】環境変数に関するあれこれ https://dk521123.hatenablog.…

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/30/000000 https://dk521123.hatenablog.com/entry/2023/05/30/151003 の続き。 dbt の シード（Seed）について、徐々に学んでみる 目次 【１】Seed 【２】Hello world １）前提条件 ２）実行手順…

■ はじめに キーボードに関してメモ。 目次 【１】US キーボードとの比較 １）USキーボードの方いい理由 【２】キーを入れ替えるには １）Microsoft PowerToys 例：Caps lock => Control に変える 【１】US キーボードとの比較 * プログラマにとって、よく日…

■ はじめに tmux について触ってみた。 目次 【１】tmux 【２】前提知識：構成要素 【３】インストール 【４】軽く触ってみる 【１】tmux * tmux = Terminal Multiplexer (マルチプレクサ) = 端末多重化ソフトウェア * ターミナル画面を複数開くことができる…

■ はじめに fzf っていうのを小耳にはさんだのでメモ。 【１】fzf * fzf = FuZzy Finder (ファジー ファインダー) * 曖昧検索をしてくれるコマンドツール cf. fuzzy(ファジー) = 不明瞭な、曖昧な、はっきりしない 【２】サポートOS * Linux * Mac * Windows…

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 https://dk521123.hatenablog.com/entry/2023/11/03/234825 の続き。 今回は、sls offline について扱う。 目次 【１】sls offline 【２】インストール １）確認 【３】起動の仕方 【４…

■ はじめに tee コマンドについてメモる。 目次 【１】teeコマンド 【２】オプション １）-a (--append) 【３】サンプル 例１：Hello World 例２：設定ファイル作成 【１】teeコマンド * 標準入力から受け取った内容を 標準出力とファイルに書き出すコマンド…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/10/173658 で Markdownに関しての記事を書いたが、 今回は、AsciiDoc（アスキードック）っていうのを聞いたのでメモってみた 【１】AsciiDoc * Markdownなどのような軽量マークアップ言語の一つ *…

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/10/034839 https://dk521123.hatenablog.com/entry/2023/08/24/002539 の続き。 IntelliJ のデバッグに関して、少しずつメモっていく。 目次 【１】デバッグ方法 【２】sbt をデバッグするには 【…