■ はじめに スクラム（Scrum）に勉強する。徐々に書き足していく。 以下が非常にわかりやすかった https://www.atmarkit.co.jp/ait/articles/1208/07/news128.html 目次 【１】スクラムとは？ 【２】スクラムの理論 １）スクラムの3本柱 ２）スクラムの5つの…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 の続き。 今回は、ディクショナリ(辞書) (Dictionary) 目次 【１】辞書 【２】基本操作 １）要素の取得 ２）空かどうかのチェック ３）キーの存在チェック ４）ループさせるには ５）辞…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 の続き。 今回は、タプルについて、メモする。 補足：namedtuple （名前付きタプル） namedtuple （名前付きタプル）については、以下の関連記事を参照のこと Python ～ namedtuple / …

■ はじめに AWS Glue のトラブルについて、少しづつだが記録しておく なお、boto3がらみは、以下の関連記事を参照のこと。 boto3 AWS Glue API のトラブル ～ trigger全般 編 ～ https://dk521123.hatenablog.com/entry/2020/10/23/110821 boto3 AWS Glue AP…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/20/230323 の続き。 VS CodeでPythonを使う上での設定方法について、記述する。 目次 【１】設定方法 １）Visual Studio Codeのインストール ２）Aanacondaのインストール ３）Python拡張機能をイ…

■ はじめ コメント文について扱う 目次 【１】Python の コメント文 【２】Python の javadoc 的なのは？ 【３】ドキュメント化ツール 【１】Python の コメント文 １）一行コメント文（# コメント） ２）複数行コメント文（""" コメント """） 【２】Python…

■ はじめに https://dk521123.hatenablog.com/entry/2018/03/28/224532 の続き。 データ解析支援ライブラリ Pandas について、ちょっとづつまとめる 目次 【１】Pandas （パンダス） 【２】インストール 【３】用語整理 １）Series（シリーズ） ２）DataFram…

■ はじめに boto3でS3を操作する方法をメモ。 目次 【０】boto3とは？ 【１】list_objects_v2 【２】get_object 【３】copy / copy_object 【４】delete_object / delete_objects 【５】put_object 【０】boto3とは？ AWS を Python から操作するためのライ…

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/09/122954 で、Visual Studio Code (VS Code) が長くなったので、わけてみた。 目次 【１】VS Code 【２】動画 【３】設定変更 １）Proxy変更 ２）個人的な設定 【４】主なショートカット １）検…

■ はじめに Python での JSON の読み込み・書き込みを行う 目次 【０】使用上の注意 １）値をダブルクォーテーションマーク囲む必要がある ２）末尾にカンマを入れるのはNG ３）ndjson については、別モジュールが必要 【１】JSON <=> 文字列 【２】JSONの読…

■ はじめに AWSへのアクセスするのに、SSHクライアントを触れたのでメモ。 目次 【０】主なSSHクライアント 【１】Powershell １）環境確認 ２）接続 【２】TeraTerm １）プロキシサーバ経由でアクセスする ２）使用上の注意 【３】Putty １）プロキシサーバ…

■ はじめに https://dk521123.hatenablog.com/entry/2019/07/18/234652 の続き。 今回は、Githubにssh接続でクローンできるようにする。 以下のサイトがわかりやすかった。 http://monsat.hatenablog.com/entry/generating-ssh-keys-for-github Githubへの接…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/13/000000 で、YAMLを勉強したので、 今回は、それをPythonで扱ってみる 目次 【１】PyYAML のインストール 【２】サンプル 例１：YAMLの読み込み 例２：YAMLの読み込み その２ 例３：YAML => JSO…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 今回は、Glueでのパラメータの受け渡しについて、考える。 ジョブ間の値の受け渡し 【１】実行プロパティ 【２】ジョブ パラメータ ... 渡すだけ（受け取れない） 【１】実行…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 GlueのBoto3とついでにAWS CLIについて、考える。 今回は、Glue デプロイ時に使用する主な boto3 API についてまとめておく。 また、2019/10/15現時点では、ジョブ、トリガー…

■ はじめに 今更ながらだが、AWSやAnsibleなどなど色々と必要になりそうなので YAMLについて、調べてみた。 目次 【１】YAML 【２】種類 １）スカラ ２）シーケンス (配列) ３）マッピング (連想配列) 【３】文法 １）コメント ２）始まり ( --- ) と終わり …

■ はじめに Pythonの文字列のメモ書き 目次 【１】文字列操作 【２】文字列の比較 【３】標準入力 【４】文字列のフォーマット指定 １）format ２）f-strings ３）% 演算子 【５】文字列定数 【６】大文字 / 小文字の変換 １）upper ２）lower ３）capitaliz…

■ はじめに Python のコマンドライン引数について、まとめる ■ コマンドライン引数 の扱い方 【１】sysモジュールのargvを利用する 【２】argparseモジュールを利用する 【１】sysモジュールのargvを利用する 使用上の注意 １）第0番目はファイル名で、第1番…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、Workflows (ワークフロー)について、調べてみた。 ■ Workflows (ワークフロー) Glueコンソール上で、トリガ、クローラ、ジョブのDAG（※）を GUIで作成、実行、管理で…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 Workflows (ワークフロー)がうまく動いていないので ログを張って調査したいので、Glueのログ全般について 調べてみた 目次 【１】ログ出力先 １）Job / PySpark - Glue1.0 ２…

■ はじめに Python の ファイルの扱い方を学ぶ 目次 【１】読み込み １）read() ２）readlines() 【２】書き込み １）write() [補足] 書き込みモード 【３】with ブロック 【４】日本語（UTF-8）対応 【５】サンプル 例１：read() / with 例２：readlines() …

■ はじめに Python のシリアライズ（serialize）・デシリアライズ（deserialize）を扱う ■ シリアライズ / デシリアライズ 「import pickle」を使う シリアライズ（serialize） # シリアライズ with open("person.pickle", 'wb') as file: pickle.dump(tom, …

■ はじめに AWS Systems Manager (通称 SSM; SystemS Manager?) の中の Session Manager を利用すれば、 踏み台サーバ（Bastion server。Bastion：要塞）なしで アクセスできるらしいので、調べてみた 目次 【１】AWS Systems Manager (通称 SSM) 【２】パラ…

■ はじめに BIツールの内、Pentaho (ペンタホ)について、調べてみた ■ Pentaho * オープンソースのBIツール * Java製 参考文献 https://thinkit.co.jp/article/1153/1 http://m12i.hatenablog.com/entry/2015/04/12/083508 https://www.ossnews.jp/oss_info/…

■ はじめに 二要素認証/多要素認証（MFA：Multi-Factor Authentication）について 触れる機会があったので、まとめる 目次 【１】多要素認証 【１】多要素認証 認証の以下の3要素のうち、2つ以上を組み合わせて認証すること ～～～～ １）知識情報（Somethin…

■ はじめに Pythonの単体試験を行う必要がありそうなので、 Pythonの単体試験のやり方を調べてみた 目次 【１】Python の単体試験 【２】Hello world 【３】トラブルシューティング １）import でエラーが発生し、単体試験が実行できない ２）ファイル名が英…

■ はじめに Glue について、徐々に調べて書き込んでおく 目次 【１】AWS Glue 【２】Lambda との違い 【３】使用上の注意 １）サポートバージョンに注意 ２）ジョブタイプ「Spark」でサポート外のモジュールがある ３）IAM権限設定が必要 【４】全体像 １）…