2023-12-01から1ヶ月間の記事一覧
■ はじめに 色々なGithub Actions の サンプル集 を書き溜めていく 目次 【１】yamllintを追加 【１】yamllintを追加 https://github.com/adrienverge/yamllint にある yamllint を追加してみる。 github-actions-demo.yml - uses: actions/checkout@v4 # ★…
■ はじめに NeoVIM (ネオ・ビム)について学んだので、メモっておく。 目次 【１】VIMとの比較 【２】設定変更 １）インストール ２）エイリアス ３）設定変更手順 【１】VIMとの比較 * VIMでもNeoVimでもどちらを習得しても使い方はほぼ一緒なので 特に気に…
■ はじめに https://dk521123.hatenablog.com/entry/2022/06/21/143624 で、GITHUB_ENV を扱ったが、すっかり忘れたのと 来年の仕事で早速使いそうなので、まとめておく。 目次 【１】GITHUB_ENV 【２】使いどころ 【３】使用上の注意 １）Job間の変数受け渡…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/17/000000 で、Apache Airflow の Variable について扱った。 今回は、AWS MWAAでの Variable について扱う。 目次 【１】公式ドキュメントのサンプル １）前提条件 ２）サンプル 【２】AWS CLI …
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/10/094125 で、Terminalとして、「Windows Terminal」を扱ったが、 別物として、Cmder ってのを知ったのでメモ。 目次 【１】Cmder 【２】インストール 【３】WSL との連携 １）WSLを起動するには…
■ はじめに AWS CodeArtifact について、初めて聞いたので、 まずは、メモる。 目次 【１】AWS CodeArtifact 【２】用途 【３】サポート・リポジトリ 【４】用語整理 １）リポジトリ（Repository） ２）ドメイン（Domain） ３）アセット（Asset） 【１】AWS …
■ はじめに Amazon Managed Workflows for Apache Airflow (MWAA) を Terraform で作る。 なお、MWAA および Airflow については、以下の関連記事を参照のこと。 MWAA ～ 入門編 ～ https://dk521123.hatenablog.com/entry/2021/09/29/131101 Apache Airflow…
■ はじめに Terraform の 変数について扱う。 目次 【０】Terraform の変数 【１】local １）Hello world 【２】variable １）Hello world 【３】variableの値の設定の仕方 １）コマンドの引数で直接設定「-var option」 ２）ファイルで設定「.tfvars files…
■ はじめに Github Actions で 色々と切り替える必要があるので そこで、今回は、プロパティについて、徐々にではあるが、 まとめていく 目次 【０】まとめ 【１】イベント １）github.event_name ２）github.ref_name 【２】リポジトリ １）GITHUB_REF 【３…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 の続き。 徐々にではあるが、Github Actions の文法をまとめておく 目次 【０】構造 【１】on 【２】jobs 【３】runs-on 【…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 の続き。 Github Actions に関する Tips を徐々にではあるが、書き溜めていく。 目次 【１】過去の履歴を見たい場合 【２】M…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、Delete and Insert について、深堀っていく 目次 【１】構文 【２】サンプル 【１】構文 {{ config( materialized='incremental', unique_key=['user_id' , ...], inc…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、Update or Insert （Upsert）について、深堀っていく ついでに、普通の Insert も載せておく。 目次 【１】Update or Insert に関する属性 １）merge_update_columns …
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 https://dk521123.hatenablog.com/entry/2022/06/21/143624 の続き。 CI/CDをやることになり、Github Actionsを使うらしい。…
■ はじめに Apache Airflow の 設定値を保持する仕組み・機構が揃っているので、 その内の Variable について扱う 目次 【０】設定値の保持 - Variable 【１】Web UIからデータ追加 【２】CLIからデータ追加 【３】REST APIからデータ追加 【４】DAG からデ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 の続き。 DBT に関する環境設定をまとめておく 目次 【０】使用上の注意 １）PostgreSQLを使う場合 【１】dbt インストール方法 【２】pip によるインストール １）前提条件 ２）Window…
■ はじめに 小ネタ。 今回は、DBTのaliases （エイリアス）を学んだので メモっておく 目次 【１】alias 【２】使いどころ 【３】構文 １）解説 【１】alias * テーブルなどを別名（＝alias）を付けることができる => モデルなどは、デフォルトだとファイル…
■ はじめに Docker で色々とトラブった際に使用したTipsを 徐々にまとめていく 目次 【１】docker ps でコンテナの状態チェック 【２】docker logs でコンテナのログチェック １）docker logsコマンド ２）-fオプション 【３】docker inspect で意図している…
■ はじめに DBT の pre-hook/post-hook について学んだのでメモ 目次 【１】公式ドキュメント 【２】Hooks １）pre-hook ２）post-hook 【３】Hookの設定方法 １）モデル内に設定する ２）dbt_project.yml 内に設定する ３）models/properties.yml 内に設定…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 でも少し触れたが、DBT の ドキュメント化について 徐々にまとめていく 目次 【１】公式ドキュメント 【２】dbt docs コマンド ０）dbt docs -h １）dbt docs generate ２）dbt docs se…
■ はじめに Github Project について、徐々にまとめていく 目次 【１】Github Project 【２】機能 １）Board/Table/Roadmap 【３】プロジェクト作成 【４】リポジトリにプロジェクトを紐づける 【１】Github Project * プロジェクト管理機能 【２】機能 １）…
■ はじめに DBT の Source について、徐々にまとめていく 目次 【１】Source 【２】ベストプラクティス 【３】使い方 １）Source の宣言 ２）フォーマット 【４】Hello world １）準備 ２）サンプル 【１】Source * 変換の元となるデータを「ソース」と呼ぶ …
■ はじめに DBT での色々な更新について徐々にではあるがまとめていく 目次 【１】materialized １）materialized='table' ２）materialized='view' ３）materialized='incremental' ４）materialized='ephemeral' ５）materialized='materialized_view' / m…
■ はじめに findコマンドをメモる 目次 【１】findコマンド 【２】オプション １）-typeオプション 【３】サンプル 【４】使用例 １）ファイル名検索 ２）ファイル削除 【１】findコマンド ファイル・ディレクトリ名を探すコマンド 【２】オプション １）-ty…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、DROP ＋ CTAS（CREATE TABLE AS SELECT） について、深堀っていく 目次 【１】DROP & CTAS 【２】構文 【１】DROP & CTAS * DROP ＋ CTAS（CREATE TABLE AS SELECT） …
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で、Amazon WorkSpaces の Ubuntu Desktop を作成したのだが そのバンドルを作ることになったので、メモ。 目次 【１】WorkSpaces起動するための流れ 【２】用語整理 １）カスタムイメ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 の続き。 今回は、Dockerイメージを Pull & Pushをメモ。 目次 【１】リポジトリ作成 【２】環境構築を行う １）EC2 の Role…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で Workspace 上で Ubuntu で VS Codeなどをインストールしている。 そこで、今回は、 Linux（Ubuntu）環境上で VS Code を動かすためのTipsを書き溜める 目次 【１】インストール １）…
