2021-11-01から1ヶ月間の記事一覧
■ はじめに システムのパスワードを決めるために、 より安全な文字列を生成する必要ができたので Pythonで生成する方法を調べてみた。 ついでに、「トークン」や「UUID」も載せておく。 ちなみに、Java版で同じことを過去にやっていた。 【Java】セキュアな…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 https://dk521123.hatenablog.com/entry/2019/08/29/220537 の続き。 今更ながら、Pythonの抽象クラス（Abstract Class） を知ったので、メモ。 目次 【１】Pythonの抽象クラス - ABC (…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake の特徴の一つでもある「ゼロ コピー クローン」について扱う。 目次 【１】ゼロコピークローン 【２】構…
■ はじめに CI/CD に関する打ち合わせの中で、 「Dependabot (ディベンダ ボット)」なるものが出てきたので メモしておく。 目次 【１】Dependabot 【２】サポート言語 【３】Dependabot の 適用 １）Python / Poetry 【１】Dependabot * パッケージ管理（e.…
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 https://dk521123.hatenablog.com/entry/2021/11/24/163751 の続き。 PyTest の Mock について、学ぶ。 目次 【１】環境設定 【２】サンプル 例１：戻り値をMock化 - mocker.patch 例２…
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 の続き。 PyTest の Fixture（フィクスチャ）について、学ぶ。 目次 【１】Fixture（フィクスチャ） 【２】Scope（スコープ） 【３】サンプル 【１】Fixture（フィクスチャ） * PyTest …
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 の続き。 既に出来合いのシステムの Snowflake を触りだしたのだが、 やっぱり、ちゃんと学びたいと思った。 Snowflakeは、30日間無料トライアルでの使用があるので 基本的な操作をメモ…
■ はじめに https://dk521123.hatenablog.com/entry/37985221 で、はてなブログに引っ越ししたが、 興味本位で、ブログで小銭をもらう方法について調べて 実践してみた。 目次 【１】Google AdSense １）申し込み ２）支払いスケジュール ３）税務情報入力 …
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 今回は、Snowflake の ロールや権限などのアクセス制御…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake を触わる機会があった。 主に、データロードまでやったのだが そこにいきつくまでに、色々なことを学べ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/08/165505 で設定した Docker Desktop だが、有料化したらしいので その代替えを調べてみた。 目次 【１】Docker Desktop の 有料化 １）無料で使える条件 【２】Docker-CE 【３】構築手順 １）Do…
■ はじめに Parquet (パーケット) 形式のファイルを取り込むことになって そのためのテストデータ（ファイル）を作りたいので、 Python で Parquet を扱う方法をメモしておく。 Parquet については、以下の関連記事を参照のこと。 Parquet ファイル https://…
■ はじめに 今回、IT技術のまとめではないが、、、 https://dk521123.hatenablog.com/entry/2021/11/01/000000 で、AIスピーカーを購入したのだが、 Google nestだと、マルチリンガルモード対応なので 日常に英語を使う機会を設ける意味で非常にいいと思った…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 https://dk521123.hatenablog.com/entry/2021/11/08/221219 の続き。 色々調べて、flake8 と black を使いそうなので、 今回は、Python の フォーマッター「black」について、 設定の仕…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/11/141852 で、以前、pipenv などを取り扱ったが、 新たに、Poetry（ポエトリー）なるものを教えてもらったのでメモ。 目次 【１】Poetry １）公式サイト 【２】環境構築 １）前提条件 ２）インス…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 の続きで、Pythonのコードチェックにおいて、 flake8 以外にも、色々なツールがあふれている。 そこで、フォーマッターなども含めた Python を奇麗に書くためのツール群について、整理…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 MWAA Localの 環境構築としてDocker composeを使い aws-mwaa-local-runner と LocalStack と組み合わせにする。 目次 【１】構築方針 １）前提条件 【２】構築手順 １）docker…
■ はじめに https://dk521123.hatenablog.com/entry/2018/06/05/211900 の続き。 今回は、Node/NPM/の環境構築について扱う 目次 【１】Windows の場合 【２】Linux の場合 １）CentOS ２）Ubuntu 【３】Node.jsの実行 【１】Windows の場合 https://nodejs.…
■ はじめに MWAA での単体試験 (Unit tests) について調査していたら、 以下のAWS公式ブログがヒットした。 https://aws.amazon.com/jp/blogs/opensource/automating-a-dag-deployment-with-amazon-managed-workflows-for-apache-airflow/ 上記によると、aws…
■ はじめに GitHub Actions について、調べなければならなくなったのでメモ。 目次 【０】おさらい：CI/CD 【１】GitHub Actions 【２】用語整理 １）Workflow（ワークフロー） ２）Action（アクション） ３）Runner（ランナー） 【３】料金 １）パブリック…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/14/224428 で、以下のように説明した。 ~~~~ * WSLではsystemdがPID1で動いていないため、 systemctlなどのコマンド（e.g. sudo systemctl start docker）が使えない => 使用する場合は「Genie」…
■ はじめに Snowflake (スノーフレイク) を扱うことになったのでメモ。 目次 【１】Snowflake 【２】特徴 【３】構成 / アーキテクチャ １）ストレージ層 - Storage ２）コンピューティング層 - Compute ３）サービス層 - Services 【４】キャッシュ １）ク…
■ はじめに AIスピーカーを何個か買って使って気がついたことや 調べたことをメモしておく 目次 【１】Google Nest １）Google Nest Mini ２）Google Nest Hub ３）Google Nest Hub Max 【２】Amazon Echo 【１】Google Nest * Google社製のAIスピーカー * …
