■ はじめに システムのパスワードを決めるために、 より安全な文字列を生成する必要ができたので Pythonで生成する方法を調べてみた。 ついでに、「トークン」や「UUID」も載せておく。 ちなみに、Java版で同じことを過去にやっていた。 【Java】セキュアな…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 https://dk521123.hatenablog.com/entry/2019/08/29/220537 の続き。 今更ながら、Pythonの抽象クラス（Abstract Class） を知ったので、メモ。 目次 【１】Pythonの抽象クラス - ABC (…

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake の特徴の一つでもある「ゼロ コピー クローン」について扱う。 目次 【１】ゼロコピークローン 【２】構…

■ はじめに CI/CD に関する打ち合わせの中で、 「Dependabot (ディベンダ ボット)」なるものが出てきたので メモしておく。 目次 【１】Dependabot 【２】サポート言語 【３】Dependabot の 適用 １）Python / Poetry 【１】Dependabot * パッケージ管理（e.…

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 https://dk521123.hatenablog.com/entry/2021/11/24/163751 の続き。 PyTest の Mock について、学ぶ。 目次 【１】環境設定 【２】サンプル 例１：戻り値をMock化 - mocker.patch 例２…

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 の続き。 PyTest の Fixture（フィクスチャ）について、学ぶ。 目次 【１】Fixture（フィクスチャ） 【２】Scope（スコープ） 【３】サンプル 【１】Fixture（フィクスチャ） * PyTest …

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 の続き。 既に出来合いのシステムの Snowflake を触りだしたのだが、 やっぱり、ちゃんと学びたいと思った。 Snowflakeは、30日間無料トライアルでの使用があるので 基本的な操作をメモ…

■ はじめに https://dk521123.hatenablog.com/entry/37985221 で、はてなブログに引っ越ししたが、 興味本位で、ブログで小銭をもらう方法について調べて 実践してみた。 目次 【１】Google AdSense １）申し込み ２）支払いスケジュール ３）税務情報入力 …

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 今回は、Snowflake の ロールや権限などのアクセス制御…

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake を触わる機会があった。 主に、データロードまでやったのだが そこにいきつくまでに、色々なことを学べ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/08/165505 で設定した Docker Desktop だが、有料化したらしいので その代替えを調べてみた。 目次 【１】Docker Desktop の 有料化 １）無料で使える条件 【２】Docker-CE 【３】構築手順 １）Do…

■ はじめに Parquet (パーケット) 形式のファイルを取り込むことになって そのためのテストデータ（ファイル）を作りたいので、 Python で Parquet を扱う方法をメモしておく。 Parquet については、以下の関連記事を参照のこと。 Parquet ファイル https://…

■ はじめに 今回、IT技術のまとめではないが、、、 https://dk521123.hatenablog.com/entry/2021/11/01/000000 で、AIスピーカーを購入したのだが、 Google nestだと、マルチリンガルモード対応なので 日常に英語を使う機会を設ける意味で非常にいいと思った…

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 https://dk521123.hatenablog.com/entry/2021/11/08/221219 の続き。 色々調べて、flake8 と black を使いそうなので、 今回は、Python の フォーマッター「black」について、 設定の仕…

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/11/141852 で、以前、pipenv などを取り扱ったが、 新たに、Poetry（ポエトリー）なるものを教えてもらったのでメモ。 目次 【１】Poetry １）公式サイト 【２】環境構築 １）前提条件 ２）インス…

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 の続きで、Pythonのコードチェックにおいて、 flake8 以外にも、色々なツールがあふれている。 そこで、フォーマッターなども含めた Python を奇麗に書くためのツール群について、整理…

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 aws-mwaa-local-runner と LocalStack との 組み合わせについて扱う。 目次 【１】構築方針 １）前提条件 【２】構築手順 １）docker-compose の作成 ２）「docker-compose up…

■ はじめに https://dk521123.hatenablog.com/entry/2018/06/05/211900 の続き。 今回は、Node/NPM/の環境構築について扱う 目次 【１】Windows の場合 【２】Linux の場合 １）CentOS ２）Ubuntu 【３】Node.jsの実行 【１】Windows の場合 https://nodejs.…

■ はじめに MWAA での単体試験 (Unit tests) について調査していたら、 以下のAWS公式ブログがヒットした。 https://aws.amazon.com/jp/blogs/opensource/automating-a-dag-deployment-with-amazon-managed-workflows-for-apache-airflow/ 上記によると、aws…

■ はじめに GitHub Actions について、調べなければならなくなったのでメモ。 目次 【０】おさらい：CI/CD 【１】GitHub Actions 【２】料金 １）パブリックリポジトリの場合 ２）プライベートリポジトリの場合 【３】用語整理 １）Workflow（ワークフロー）…

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/14/224428 で、以下のように説明した。 ~~~~ * WSLではsystemdがPID1で動いていないため、 systemctlなどのコマンド（e.g. sudo systemctl start docker）が使えない => 使用する場合は「Genie」…

■ はじめに Snowflake (スノーフレイク) を扱うことになったのでメモ。 目次 【１】Snowflake 【２】特徴 【３】構成 / アーキテクチャ １）ストレージ層 - Storage ２）コンピューティング層 - Compute ３）サービス層 - Services 【４】キャッシュ １）ク…

■ はじめに AIスピーカーを何個か買って使って気がついたことや 調べたことをメモしておく 目次 【１】Google Nest １）Google Nest Mini ２）Google Nest Hub ３）Google Nest Hub Max 【２】Amazon Echo 【１】Google Nest * Google社製のAIスピーカー * …