■ はじめに https://dk521123.hatenablog.com/entry/2020/01/23/231827 の続き。 AWS Code シリーズ の CodeDeploy を扱いそうなので 予習しておく 目次 【１】CodeDeploy とは？ 【２】特徴 【３】対象サービス - デプロイ対象先 １）使用上の注意 【４】デ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/27/175610 などで、でてきたトラブルを纏める 目次 【１】エラー「Column repeated in partitioning columns」が発生する 【２】エラー「Need to specify partition columns」が表示 ※ その他のHi…

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/20/230519 の続き。 Amazon EMR (Elastic MapReduce) を動かしてみたり、 基本的なことを学ぶ。 目次 【１】EMRのクラスタを起動する 【２】EMRでHIVEを実行する 【３】EMRのログ 【４】EMRの全体…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 の続き。 今回は、Amazon ECR (Elastic Container Registry) に対して 色々な操作をメモる。 目次 【１】 ECR から イメージをプルする ０）詳細手順 １）Amazon ECR レジストリに対し…

■ はじめに Python の 並行 / 並列処理(※)について、学ぶ。 ※ 並列処理 について 別のCPUコアの 別のpythonプロセスで 複数の処理を同時に行う ■ Python での並列処理 https://docs.python.org/ja/3/library/concurrency.html より抜粋 ～～～～ 【１】multi…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 https://dk521123.hatenablog.com/entry/2020/05/23/080655 等で、起こったトラブルシューティングを纏める。 目次 【１】エ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 の続き。 Amazon ECR を学んだので、今回は、当初の目標である CodeBuild で、カスタム Docker ビルドイメージを 使用する方法について、学ぶ。 ■ 導入前に 標準で用意されているDocker…

■ はじめに CodeBuild で、カスタム Docker ビルドイメージを 使用する必要ができたのだが、 その際に、Amazon ECR が必要らしいので、勉強する。 なお、Amazon EMRではない。 (似通ったサービス名が、増えてややっこしいんだよなー) https://dk521123.haten…

■ はじめに ファイルの暗号化・複合化できるツールを纏める ■ 関連用語 PGP(Pretty Good Privacy=かなり良いプライバシー) Philip Zimmermannが開発した暗号ソフトウェア GPG (GnuPG; GNU Privacy Guard) PGPをベースとした標準仕様 OpenPGP を実装したソフ…

■ はじめに PySpark の UDF (User Defined Function) っての学ぶ。 目次 【１】UDF とは 【２】UDF定義方法 １）udf関数から取り込む ２）デコレータを利用する方法 ３）spark.udf.register() で登録する 【３】使用上の注意 【４】サンプル なお、以下の関…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/20/195621 で、デコレータについて触れた。 Python のコードの幅が広がりそうなので、メモっておく。 目次 【１】デコレータ １）使いどころ 【２】Python標準のデコレータ 【３】サンプル 例１：…

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/04/150942 の続き。 今回は、PySpark でのデータフレーム（DataFrame）の データ項目を操作する方法を纏める。 目次 【１】データ項目名 １）データ項目の定義 ２）データ項目名の変更 ３）データ…

■ はじめに 文字列をスクリプトとして実行する eval, exec について扱う どちらも組み込み関数に分類されるメソッド。 https://docs.python.org/ja/3.6/library/functions.html 個人的な感想 コードが追いづらくなるから、 無暗には使わないでほしい、、、 …

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/14/221126 https://dk521123.hatenablog.com/entry/2019/11/24/225534 https://dk521123.hatenablog.com/entry/2020/01/04/150942 の続き。 今回は、Python から Hive / HiveQL を使えるやり方を …

■ はじめに データを移行ツールを作成した時に、 移行ツールと元のデータに差異がないことを PostgreSQLにおいて、簡単に確認できるSQL文を考える ■ 解決案 http://www.ajisaba.net/db/postgresql/table_record_diff.html#UNION https://qiita.com/damassima…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/08/175525 の続き。 今回は、「実装案２：オーソドックスにInsertする」を行う。 ■ 実行メソッドについて 実行メソッドの候補として、以下がある。 １）executemany() ← パフォーマンスがいまいち…

■ はじめに Pythonコードにより、CSVファイルを入力データとして、 PostgreSQLに対してデータをInsertする なお、PostgreSQLライブラリについては、 以下の関連記事の「psycopg2」を使う Python で PostgreSQL を使う ～ psycopg2編 ～ https://dk521123.hat…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/25/232155 の続き。 AWS Glue のトラブルについて、少しづつだが記録しておく 今回は、クローラのトラブルについて、まとめる。 目次 【１】Crawlerからエラー「ERROR: Internal Service Exceptio…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/27/000316 の続き。 以下の関連記事で ローカル環境に Postgre の SSL設定をしたのだが SSL接続する際に、psycopg2を使ったのでメモ。 https://dk521123.hatenablog.com/entry/2020/05/05/221239 …

■ はじめに PostgreSQL の SSL通信に関して調べてみた 目次 【１】 SSL確認方法 【２】 SSL設定手順 【３】 SSL 攻撃 と SSLモード 【１】 SSL確認方法 その１） psql ログイン時 その２） sslinfo を有効にして「select ssl_is_used()」を実行する その３）…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/27/224624 https://dk521123.hatenablog.com/entry/2020/05/01/000000 の続き。 今回は、ローカルで Kubernetes を使って nginx を立ち上げる。 目次 【１】今回のやること 【２】前提条件 【３】…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/01/000000 で扱ったブロックチェーンの技術として使用されるハッシュについて扱う 目次 【１】ハッシュについて 【２】サンプル 例１：Hello world 例２：Login with Salt & Stretching 例３：Log…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/27/224624 の続き。 今回は、Windows に Minikube をインストールし、 自分のローカル上に Kubernetes を試す環境を構築する。 補足：あとがき Windows の Docker は、 Hyper-V を前提としている…