【Git】PC が新しくなった際のGit/Githubの設定

Git Github

■ はじめに完全に自分用のメモ。今回は、PC が新しくなった際のGit/Githubの設定を書いておく。（こうして行いと設定漏れがでて後々面倒くさくなるので）目次【１】git config 【２】Github認証省略する設定【１】git config # user.name / user.email…

2024-01-05

【AWS】Amazon ECR ～ AWS CLI ～

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 https://dk521123.hatenablog.com/entry/2023/12/02/024631 の続き。今回は、Amazon ECR の AWS CLI について扱う。主に、…

2024-01-04

【トラブル】【AWS】S3権限周りのトラブルシュート

AWS トラブル

■ はじめに Amazon S3 の権限エラーが多いので、それらをまとめておく。目次【１】EC2 から「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」【１】EC2 から「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 EC2 …

2024-01-03

【Linux】screenコマンド

Linuxコマンド

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/13/020744 で、tmux を扱ったが、 screen コマンドも同様なことができるのでメモっておく目次【１】screen 【２】インストール【３】主な操作【１】screen * 画面分割できるコマンド【２】…

2024-01-02

【k8s】Kubernetes ～ Linux / 環境構築編～

Kubernetes

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/01/000000 で、Windows で Minikube をインストールしたが今回は、WSL2で Minikube をインストールする（全く Linuxでの手順と変わらないので、タイトルは Linuxとしている）目次【１】構築環…

2024-01-01

【Github】Github Actions ～エラー処理 / continue-on-error ～

Github

■ はじめに Github Actions のエラー処理について徐々に書いていく目次【１】前提知識：基本動作【２】主なエラー処理【３】補足：if: always() について【４】continue-on-error: true １）Hello world ２）steps.<step_id>.conclusion / steps.<step_id>.outcome 【５</step_id></step_id>…

2023-12-31

【Github】Github Actions ～サンプル集～

Github

■ はじめに色々なGithub Actions のサンプル集を書き溜めていく目次【１】yamllintを追加【１】yamllintを追加 https://github.com/adrienverge/yamllint にある yamllint を追加してみる。 github-actions-demo.yml - uses: actions/checkout@v2 # ★…

2023-12-30

【VI】NeoVIM ～入門編～

VI/VIM/NeoVIM

■ はじめに NeoVIM (ネオ・ビム)について学んだので、メモっておく。目次【１】VIMとの比較【２】設定変更１）インストール２）エイリアス３）設定変更手順【１】VIMとの比較 * VIMでもNeoVimでもどちらを習得しても使い方はほぼ一緒なので特に気に…

2023-12-29

【Github】Github Actions ～ GITHUB_ENV ～

Github

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/21/143624 で、GITHUB_ENV を扱ったが、すっかり忘れたのと来年の仕事で早速使いそうなので、まとめておく。目次【１】GITHUB_ENV 【２】使いどころ【３】使用上の注意１）Job間の変数受け渡…

2023-12-28

【Airflow】MWAA ～ Variable ～

AWS Airflow

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/17/000000 で、Apache Airflow の Variable について扱った。今回は、AWS MWAAでの Variable について扱う。目次【１】公式ドキュメントのサンプル１）前提条件２）サンプル【２】AWS CLI …

2023-12-27

【フリーソフト】Terminal ～ Cmder ～

WSL/WSL2 フリーソフト/フリーツール

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/10/094125 で、Terminalとして、「Windows Terminal」を扱ったが、別物として、Cmder ってのを知ったのでメモ。目次【１】Cmder 【２】インストール【３】WSL との連携１）WSLを起動するには…

2023-12-26

【AWS】AWS CodeArtifact ～基礎知識編～

AWS

■ はじめに AWS CodeArtifact について、初めて聞いたので、まずは、メモる。目次【１】AWS CodeArtifact 【２】用途【３】サポート・リポジトリ【４】用語整理１）リポジトリ（Repository）２）ドメイン（Domain）３）アセット（Asset）【１】AWS …

2023-12-25

【Terraform】Terraform ～ AWS MWAA ～

Terraform Airflow

■ はじめに Amazon Managed Workflows for Apache Airflow (MWAA) を Terraform で作る。なお、MWAA および Airflow については、以下の関連記事を参照のこと。 MWAA ～入門編～ https://dk521123.hatenablog.com/entry/2021/09/29/131101 Apache Airflow…

2023-12-24

【Terraform】Terraform ～基本編 / 変数～

Terraform

■ はじめに Terraform の変数について扱う。目次【０】Terraform の変数【１】variable １）Hello world ２）変数呼び出し方【２】local １）Hello world 【３】variable の構文１）description ２）type ３）default ４）validation ５）nullable ６…

2023-12-23

【Github】Github Actions ～プロパティ～

Github

■ はじめに Github Actions で色々と切り替える必要があるのでそこで、今回は、プロパティについて、徐々にではあるが、まとめていく目次【０】まとめ【１】イベント１）github.event_name ２）github.ref_name 【２】リポジトリ１）GITHUB_REF 【３…

2023-12-22

【Github】Github Actions ～基本編～

Github

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 の続き。徐々にではあるが、Github Actions の文法をまとめておく目次【０】構造【１】on 【２】jobs 【３】runs-on 【…

2023-12-21

【Github】Github Actions ～あれこれ編～

Github

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 の続き。 Github Actions に関する Tips を徐々にではあるが、書き溜めていく。目次【１】過去の履歴を見たい場合【２】M…

2023-12-20

【dbt】dbt ～更新 / Delete and Insert ～

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。今回は、Delete and Insert について、深堀っていく目次【１】構文【２】サンプル【１】構文 {{ config( materialized='incremental', unique_key=['user_id' , ...], inc…

2023-12-19

【dbt】dbt ～更新 / Update or Insert ～

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。今回は、Update or Insert （Upsert）について、深堀っていく目次【１】Update or Insert に関する属性１）merge_update_columns / merge_exclude_columns 【２】構文【３…

2023-12-18

【Github】Github Actions ～ Self-hosted runners / 入門編～

Github

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 https://dk521123.hatenablog.com/entry/2022/06/16/151443 https://dk521123.hatenablog.com/entry/2022/06/21/143624 の続き。 CI/CDをやることになり、Github Actionsを使うらしい。…

2023-12-17

【Airflow】Apache Airflow ～ Variable ～

Airflow

■ はじめに Apache Airflow の設定値を保持する仕組み・機構が揃っているので、その内の Variable について扱う目次【０】設定値の保持 - Variable 【１】Web UIからデータ追加【２】CLIからデータ追加【３】REST APIからデータ追加【４】DAG からデ…

2023-12-16

【dbt】dbt ～環境設定編～

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 の続き。 DBT に関する環境設定をまとめておく目次【０】使用上の注意１）PostgreSQLを使う場合【１】dbt インストール方法【２】pip によるインストール１）前提条件２）Window…

2023-12-13

【dbt】dbt ～ aliases ～

dbt

■ はじめに小ネタ。今回は、DBTのaliases （エイリアス）を学んだのでメモっておく目次【１】alias 【２】使いどころ【３】構文１）解説【１】alias * テーブルなどを別名（＝alias）を付けることができる => モデルなどは、デフォルトだとファイル…

2023-12-12

【Docker】Docker ～トラブルシュート方法～

Docker

■ はじめに Docker で色々とトラブった際に使用したTipsを徐々にまとめていく目次【１】docker ps でコンテナの状態チェック【２】docker logs でコンテナのログチェック１）docker logsコマンド２）-fオプション【３】docker inspect で意図している…

2023-12-11

【dbt】dbt ～ Hooks ～

■ はじめに DBT の pre-hook/post-hook について学んだのでメモ目次【１】公式ドキュメント【２】Hooks １）pre-hook ２）post-hook 【３】サンプル例１：モデルのバックアップ作成【１】公式ドキュメント * 以下、参照。 https://docs.getdbt.com/docs…

2023-12-10

【dbt】dbt ～ドキュメント化 / dbt docs ～

dbt

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 でも少し触れたが、DBT のドキュメント化について徐々にまとめていく目次【１】公式ドキュメント【２】dbt docs コマンド０）dbt docs -h １）dbt docs generate ２）dbt docs se…

2023-12-09

【Github】Github Project ～基礎知識編～

Github

■ はじめに Github Project について、徐々にまとめていく目次【１】Github Project 【２】機能１）Board/Table/Roadmap 【３】プロジェクト作成【４】リポジトリにプロジェクトを紐づける【１】Github Project * プロジェクト管理機能【２】機能１）…

2023-12-08

【dbt】dbt ～基本編 / Source ～

dbt

■ はじめに DBT の Source について、徐々にまとめていく目次【１】Source 【２】ベストプラクティス【３】使い方１）Source の宣言２）フォーマット【４】Hello world １）準備２）サンプル【１】Source * 変換の元となるデータを「ソース」と呼ぶ …

2023-12-07

【dbt】dbt ～更新 / 基礎知識編～

dbt

■ はじめに DBT での色々な更新について徐々にではあるがまとめていく目次【０】materialized １）incremental_strategy ２）is_incremental() 【２】使用上の注意１）PostgreSQLの場合【０】materialized cf. materialized = 具体化/具現化する https:/…

2023-12-05

【Linux】findコマンド

Linuxコマンド

■ はじめに findコマンドをメモる目次【１】findコマンド【２】オプション１）-typeオプション【３】サンプル【４】使用例１）ファイル名検索２）ファイル削除【１】findコマンドファイル・ディレクトリ名を探すコマンド【２】オプション１）-ty…

プログラムの超個人的なメモ

Memo for Programming.

【Git】PC が新しくなった際のGit/Githubの設定

【AWS】Amazon ECR ～ AWS CLI ～

【トラブル】【AWS】S3権限周りのトラブルシュート

【Linux】screenコマンド

【k8s】Kubernetes ～ Linux / 環境構築編～

【Github】Github Actions ～エラー処理 / continue-on-error ～

【Github】Github Actions ～サンプル集～

【VI】NeoVIM ～入門編～

【Github】Github Actions ～ GITHUB_ENV ～

【Airflow】MWAA ～ Variable ～

【フリーソフト】Terminal ～ Cmder ～

【AWS】AWS CodeArtifact ～基礎知識編～

【Terraform】Terraform ～ AWS MWAA ～

【Terraform】Terraform ～基本編 / 変数～

【Github】Github Actions ～プロパティ～

【Github】Github Actions ～基本編～

【Github】Github Actions ～あれこれ編～

【dbt】dbt ～更新 / Delete and Insert ～

【dbt】dbt ～更新 / Update or Insert ～

【Github】Github Actions ～ Self-hosted runners / 入門編～

【Airflow】Apache Airflow ～ Variable ～

【dbt】dbt ～環境設定編～

【dbt】dbt ～ aliases ～

【Docker】Docker ～トラブルシュート方法～

【dbt】dbt ～ Hooks ～

【dbt】dbt ～ドキュメント化 / dbt docs ～

【Github】Github Project ～基礎知識編～

【dbt】dbt ～基本編 / Source ～

【dbt】dbt ～更新 / 基礎知識編～

【Linux】findコマンド