【AWS】AWS CloudFormation ~ 疑似パラメータ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 https://dk521123.hatenablog.com/entry/2021/12/04/202519 の続き。 今回は、AWS CloudFormation (CFn) でちょくちょく使用…

【AWS】AWS CloudFormation ~ 組み込み関数 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 AWS CloudFormation (CFn) で、大体な仕組みは理解できたのだが サンプルをみていて、組み込み関数なるものがでて…

【AWS】AWS CloudFormation ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 の続き。 AWS CloudFormation (CFn) について、 もう少し掘り下げてみる。 目次 【1】開発環境 【2】CloudFormation を使った構成管理の流れ 【3】CloudFormation テンプレートの各…

【Python】Pythonで セキュアなランダム文字列生成を考える

■ はじめに システムのパスワードを決めるために、 より安全な文字列を生成する必要ができたので Pythonで生成する方法を調べてみた。 ついでに、「トークン」や「UUID」も載せておく。 ちなみに、Java版で同じことを過去にやっていた。 【Java】セキュアな…

【Python】Python ~ 基本編 / 抽象クラス ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 https://dk521123.hatenablog.com/entry/2019/08/29/220537 の続き。 今更ながら、Pythonの抽象クラス(Abstract Class) を知ったので、メモ。 目次 【1】Pythonの抽象クラス - ABC (…

【Snowflake】Snowflake ~ 基本編 / ゼロコピークローン ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake の特徴の一つでもある「ゼロ コピー クローン」について扱う。 目次 【1】ゼロコピークローン 【2】構…

【Github】GitHub Dependabot

■ はじめに CI/CD に関する打ち合わせの中で、 「Dependabot (ディベンダ ボット)」なるものが出てきたので メモしておく。 目次 【1】Dependabot 【2】サポート言語 【3】Dependabot の 適用 1)Python / Poetry 【1】Dependabot * パッケージ管理(e.…

【Python】単体試験 / pytest ~ 基本編 / pytest-mock ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 https://dk521123.hatenablog.com/entry/2021/11/24/163751 の続き。 PyTest の Mock について、学ぶ。 目次 【1】環境設定 【2】サンプル 例1:戻り値をMock化 - mocker.patch 例2…

【Python】単体試験 / pytest ~ 基本編 / Fixture ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 の続き。 PyTest の Fixture(フィクスチャ)について、学ぶ。 目次 【1】Fixture(フィクスチャ) 【2】Scope(スコープ) 【3】サンプル 【1】Fixture(フィクスチャ) * PyTest …

【Snowflake】Snowflake ~ 入門編 / Hello world ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 の続き。 既に出来合いのシステムの Snowflake を触りだしたのだが、 やっぱり、ちゃんと学びたいと思った。 Snowflakeは、30日間無料トライアルでの使用があるので 基本的な操作をメモ…

はてなブログで小銭をもらう方法を考える

■ はじめに https://dk521123.hatenablog.com/entry/37985221 で、はてなブログに引っ越ししたが、 興味本位で、ブログで小銭をもらう方法について調べて 実践してみた。 目次 【1】Google AdSense 【2】アフィリエイト 【3】確定申告について 【1】Goog…

【Snowflake】Snowflake ~ 基本編 / アクセス制御 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 今回は、Snowflake の ロールや権限などのアクセス制御…

【Snowflake】Snowflake ~ 基本編 / データロード ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake を触わる機会があった。 主に、データロードまでやったのだが そこにいきつくまでに、色々なことを学べ…

【Docker】 Docker Desktop を使わずに Windows で Docker する

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/08/165505 で設定した Docker Desktop だが、有料化したらしいので その代替えを調べてみた。 目次 【1】Docker Desktop の 有料化 1)無料で使える条件 【2】関連用語 1)Docker-CE 2)geni…

【Python】Python で Parquet を扱う

■ はじめに Parquet (パーケット) 形式のファイルを取り込むことになって そのためのテストデータ(ファイル)を作りたいので、 Python で Parquet を扱う方法をメモしておく。 Parquet については、以下の関連記事を参照のこと。 Parquet ファイル https://…

【AIスピーカー】Google nest ~ マルチリンガルモード ~

■ はじめに 今回、IT技術のまとめではないが、、、 https://dk521123.hatenablog.com/entry/2021/11/01/000000 で、AIスピーカーを購入したのだが、 Google nestだと、マルチリンガルモード対応なので 日常に英語を使う機会を設ける意味で非常にいいと思った…

【Python】Python formatter ~ black ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 https://dk521123.hatenablog.com/entry/2021/11/08/221219 の続き。 色々調べて、flake8 と black を使いそうなので、 今回は、Python の フォーマッター「black」について、 設定の仕…

【Python】パッケージ管理 ~ Poetry ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/11/141852 で、以前、pipenv などを取り扱ったが、 新たに、Poetry(ポエトリー)なるものを教えてもらったのでメモ。 目次 【1】Poetry 1)公式サイト 【2】環境構築 1)前提条件 2)インス…

【Python】Python を奇麗に書くためのツール群

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 の続きで、Pythonのコードチェックにおいて、 flake8 以外にも、色々なツールがあふれている。 そこで、フォーマッターなども含めた Python を奇麗に書くためのツール群について、整理…

【Airflow】MWAA ~ aws-mwaa-local-runner + LocalStack ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 aws-mwaa-local-runner と LocalStack との 組み合わせについて扱う。 目次 【1】構築方針 1)前提条件 【2】構築手順 1)docker-compose の作成 2)「docker-compose up…

【Node】Node.js ~ 環境構築編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2018/06/05/211900 の続き。 今回は、Node/NPM/の環境構築について扱う 目次 【1】Windows の場合 【2】Linux の場合 1)CentOS 2)Ubuntu 【3】Node.jsの実行 【1】Windows の場合 https://nodejs.…

【Airflow】MWAA ~ aws-mwaa-local-runner ~

■ はじめに MWAA での単体試験 (Unit tests) について調査していたら、 以下のAWS公式ブログがヒットした。 https://aws.amazon.com/jp/blogs/opensource/automating-a-dag-deployment-with-amazon-managed-workflows-for-apache-airflow/ 上記によると、aws…

【Github】Github ~ Github Actions 編 ~

■ はじめに GitHub Actions について、調べなければならなくなったのでメモ。 目次 【1】GitHub Actions 【2】料金 1)パブリックリポジトリの場合 2)プライベートリポジトリの場合 【3】用語整理 1)Workflow(ワークフロー) 2)Action(アクショ…

【Windows】Windows 上で WSLコマンドを使って Linux 環境を構築

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/08/165505 で、Docker Desktop を利用して、Windows 上に Linux環境を作成したが、 Docker Desktopが、ビジネス目的だと有料になってしまい、 業務では使用が厳しくなった。 別方法として、 WSLコ…

【Snowflake】Snowflake ~ 基礎知識編 ~

■ はじめに Snowflake (スノーフレイク) を扱うことになったのでメモ。 目次 【1】Snowflake 【2】特徴 【3】構成 / アーキテクチャ 1)ストレージ層 - Storage 2)コンピューティング層 - Compute 3)サービス層 - Services 【4】キャッシュ 1)ク…

【AIスピーカー】AIスピーカー に関するメモ

■ はじめに AIスピーカーを何個か買って使って気がついたことや 調べたことをメモしておく 目次 【1】Google Nest 1)Google Nest Mini 2)Google Nest Hub 3)Google Nest Hub Max 【2】Amazon Echo 【3】シーリングライトの操作 1)ニトリのシーリ…

【トラブル】【AWS】boto3 AWS Glue API のトラブル ~ Connection編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/29/224525 で発生したトラブルについて、まとめる。 目次 【1】UpdateConnection を実行したら AccessDeniedExceptionが発生 【1】UpdateConnection を実行したら AccessDeniedExceptionが発生 …

【SQL】日付・日時に関する操作する関数

SQL

■ はじめに Snowflake の セミナーを受けていて、 date_trunc() がでてきて、今後も使えそうだったので SQLの日付・日時に関する操作する関数を 徐々にメモっていく。 目次 【1】DATE_TRUNC関数 【1】DATE_TRUNC関数 * 指定した単位(「hour」「month」な…

【AWS】AWS CloudFormation ~ 入門編 ~

AWS

■ はじめに AWS CloudFormation (CFn) を触ったのでメモ。 目次 【1】CloudFormation 【2】料金 【3】動画 【4】関連用語 1)スタック (Stacks) 2)ドリフト検出(Drift Detection) 【5】サンプル 例1:S3バケット作成 例2:1 VPC 1 Subnet作成 【…

【Pulumi】Pulumi ~ 基本 / CLI編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/23/025230 の続き。 上記の記事で、環境設定で「pulumi version」や Hello World で「pulumi new」などで扱っていたが、 Pulumi には、CLI (Command Line Interface) が備わっているので 今回は、…