2023-01-01から1年間の記事一覧

【Github】Github Actions ~ サンプル集 ~

■ はじめに 色々なGithub Actions の サンプル集 を書き溜めていく 目次 【1】flake8/black/isort を使う 【2】yamllintを追加 【1】flake8/black/isort を使う Github Actionsで「flake8」「black」「isort」を使いたい => 各ツールの詳細については、以…

【VI】NeoVIM ~ 入門編 ~

■ はじめに NeoVIM (ネオ・ビム)について学んだので、メモっておく。 目次 【1】VIMとの比較 【2】設定変更 1)インストール 2)エイリアス 3)設定変更手順 【1】VIMとの比較 * VIMでもNeoVimでもどちらを習得しても使い方はほぼ一緒なので 特に気に…

【Github】Github Actions ~ GITHUB_ENV ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/21/143624 で、GITHUB_ENV を扱ったが、すっかり忘れたのと 来年の仕事で早速使いそうなので、まとめておく。 目次 【1】GITHUB_ENV 【2】使いどころ 1)使用上の注意 【3】構文 【4】サンプ…

【Airflow】MWAA ~ Variable ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/17/000000 で、Apache Airflow の Variable について扱った。 今回は、AWS MWAAでの Variable について扱う。 目次 【1】公式ドキュメントのサンプル 1)前提条件 2)サンプル 【2】AWS CLI …

【フリーソフト】Terminal ~ Cmder ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/10/094125 で、Terminalとして、「Windows Terminal」を扱ったが、 別物として、Cmder ってのを知ったのでメモ。 目次 【1】Cmder 【2】インストール 【3】WSL との連携 1)WSLを起動するには…

【AWS】AWS CodeArtifact ~ 基礎知識編 ~

AWS

■ はじめに AWS CodeArtifact について、初めて聞いたので、 まずは、メモる。 目次 【1】AWS CodeArtifact 【2】用途 【3】サポート・リポジトリ 【4】用語整理 1)リポジトリ(Repository) 2)ドメイン(Domain) 3)アセット(Asset) 【1】AWS …

【Terraform】Terraform ~ AWS MWAA ~

■ はじめに Amazon Managed Workflows for Apache Airflow (MWAA) を Terraform で作る。 なお、MWAA および Airflow については、以下の関連記事を参照のこと。 MWAA ~ 入門編 ~ https://dk521123.hatenablog.com/entry/2021/09/29/131101 Apache Airflow…

【Terraform】Terraform ~ 基本編 / 変数 ~

■ はじめに Terraform の 変数について扱う。 目次 【0】Terraform の変数 【1】variable 1)Hello world 2)変数呼び出し方 【2】local 1)Hello world 【3】variable の 構文 1)description 2)type 3)default 4)validation 5)nullable 6…

【Github】Github Actions ~ プロパティ ~

■ はじめに Github Actions で 色々と切り替える必要があるので そこで、今回は、プロパティについて、徐々にではあるが、 まとめていく 目次 【0】まとめ 【1】イベント 1)github.event_name 【2】リポジトリ 1)GITHUB_REF 【0】まとめ # Push Even…

【Github】Github Actions ~ 基本編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 の続き。 徐々にではあるが、Github Actions の文法をまとめておく 目次 【0】構造 【1】on 【2】jobs 【3】runs-on 【…

【Github】Github Actions ~ あれこれ編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 の続き。 Github Actions に関する Tips を徐々にではあるが、書き溜めていく。 目次 【1】過去の履歴を見たい場合 【2】M…

【dbt】dbt ~ 更新 / Delete and Insert ~

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、Delete and Insert について、深堀っていく 目次 【1】構文 【2】サンプル 【1】構文 {{ config( materialized='incremental', unique_key=['user_id' , ...], inc…

【dbt】dbt ~ 更新 / Update or Insert ~

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、Update or Insert (Upsert)について、深堀っていく 目次 【1】Update or Insert に関する属性 1)merge_update_columns / merge_exclude_columns 【2】構文 【3…

【Github】Github Actions ~ Self-hosted runners / 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 https://dk521123.hatenablog.com/entry/2022/06/21/143624 の続き。 CI/CDをやることになり、Github Actionsを使うらしい。…

【Airflow】Apache Airflow ~ Variable ~

■ はじめに Apache Airflow の 設定値を保持する仕組み・機構が揃っているので、 その内の Variable について扱う 目次 【0】設定値の保持 - Variable 【1】Web UIからデータ追加 【2】CLIからデータ追加 【3】REST APIからデータ追加 【4】DAG からデ…

【dbt】dbt ~ 環境設定編 ~

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 の続き。 DBT に関する環境設定をまとめておく 目次 【0】使用上の注意 1)PostgreSQLを使う場合 【1】dbt インストール方法 【2】pip によるインストール 1)前提条件 2)Window…

【dbt】dbt ~ aliases ~

dbt

■ はじめに 小ネタ。 今回は、DBTのaliases (エイリアス)を学んだので メモっておく 目次 【1】alias 【2】使いどころ 【3】構文 1)解説 【1】alias * テーブルなどを別名(=alias)を付けることができる => モデルなどは、デフォルトだとファイル…

【Docker】Docker ~ トラブルシュート方法 ~

■ はじめに Docker で色々とトラブった際に使用したTipsを 徐々にまとめていく 目次 【1】docker ps でコンテナの状態チェック 【2】docker logs でコンテナのログチェック 1)docker logsコマンド 2)-fオプション 【3】docker inspect で意図している…

【dbt】dbt ~ Hooks ~

■ はじめに DBT の pre-hook/post-hook について学んだのでメモ 目次 【1】公式ドキュメント 【2】Hooks 1)pre-hook 2)post-hook 【3】サンプル 例1:モデルのバックアップ作成 【1】公式ドキュメント * 以下、参照。 https://docs.getdbt.com/docs…

【dbt】dbt ~ ドキュメント化 / dbt docs ~

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 でも少し触れたが、DBT の ドキュメント化について 徐々にまとめていく 目次 【1】公式ドキュメント 【2】dbt docs コマンド 0)dbt docs -h 1)dbt docs generate 2)dbt docs se…

【Github】Github Project ~ 基礎知識編 ~

■ はじめに Github Project について、徐々にまとめていく 目次 【1】Github Project 【2】機能 1)Board/Table/Roadmap 【3】プロジェクト作成 【4】リポジトリにプロジェクトを紐づける 【1】Github Project * プロジェクト管理機能 【2】機能 1)…

【dbt】dbt ~ 基本編 / Source ~

dbt

■ はじめに DBT の Source について、徐々にまとめていく 目次 【1】Source 【2】ベストプラクティス 【3】使い方 1)Source の宣言 2)フォーマット 【4】Hello world 1)準備 2)サンプル 【1】Source * 変換の元となるデータを「ソース」と呼ぶ …

【dbt】dbt ~ 更新 / 基礎知識編 ~

dbt

■ はじめに DBT での色々な更新について徐々にではあるがまとめていく 目次 【0】materialized 1)incremental_strategy 2)is_incremental() 【2】使用上の注意 1)PostgreSQLの場合 【0】materialized cf. materialized = 具体化/具現化する https:/…

【Linux】findコマンド

■ はじめに findコマンドをメモる 目次 【1】findコマンド 【2】オプション 1)-typeオプション 【3】サンプル 【4】使用例 1)ファイル名検索 2)ファイル削除 3)ファイル名摘出 【1】findコマンド ファイル・ディレクトリ名を探すコマンド 【2…

【dbt】dbt ~ 更新 / DROP + CTAS ~

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、DROP + CTAS(CREATE TABLE AS SELECT) について、深堀っていく 目次 【1】DROP & CTAS 【2】構文 【1】DROP & CTAS * DROP + CTAS(CREATE TABLE AS SELECT) …

【AWS】Amazon WorkSpaces ~ バンドル ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で、Amazon WorkSpaces の Ubuntu Desktop を作成したのだが そのバンドルを作ることになったので、メモ。 目次 【1】WorkSpaces起動するための流れ 【2】用語整理 1)カスタムイメ…

【AWS】Amazon ECR ~ Dockerイメージを Pull & Push ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 の続き。 今回は、Dockerイメージを Pull & Pushをメモ。 目次 【1】リポジトリ作成 【2】環境構築を行う 1)EC2 の Role…

【VS Code】Visual Studio Code ~ Linuxあれこれ ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で Workspace 上で Ubuntu で VS Codeなどをインストールしている。 そこで、今回は、 Linux(Ubuntu)環境上で VS Code を動かすためのTipsを書き溜める 目次 【1】インストール 1)…

【Docker】Docker ~ Proxy環境下でDockerを使用する ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/24/000000 https://dk521123.hatenablog.com/entry/2023/11/23/000000 の Docker 版。小ネタ。 目次 【0】Docker の Proxy設定について 【1】Dockerサービス用のProxy設定手順 1)Docker用の …

【dbt】dbt ~ Macro ~

dbt

■ はじめに dbt の macro (マクロ) について、徐々に学んでいく 【1】macro (マクロ) * 再利用可能なコードを作成する機能 => 元々は、テンプレートエンジン Jinja の機能 => Jinja のマクロについては、以下の関連記事を参照 Jinja ~ マクロ ~ https://d…