■ はじめに AWS Glue の Python shell で、Excelを扱おうとしたが、 はまったので、メモ。 PySpark (Glue 2.0) での Excel の扱いは、以下の関連記事を参照のこと。 AWS Glue ～ Excelを扱うには / PySpark (Glue2.0) 版 ～ https://dk521123.hatenablog.com…

■ はじめに Pythonでの CSV の扱い方について、学ぶ 目次 【１】csv モジュールを使う 【２】pandas を使う 【３】Dask を使う 【AA】CSVあれこれ 【ZZ】トラブル 【１】csv モジュールを使う 例１：csv を読み込む import csv with open('hello.csv', 'r') …

■ はじめに 関数アノテーション について、調べてみた ■ 関数アノテーション * PEP 3107 -- Function Annotations (※PEP : Python Enhancement Proposals) * From Python 3.0 ■ サンプル def add_person(name: str, is_male: bool = True) -> bool: # 実装 r…

■ はじめに Python で Excel を扱う方法をメモ。 ■ Excel を取り扱うためのライブラリ 【１】xlrd / xlwt 【２】Pandas 【３】OpenPyXL 【４】xlwings 【５】PyXLL 【１】xlrd / xlwt xlrd：読み込み用 xlwt：書き込み用 【２】Pandas 詳細は、以下の関連記…

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 では、Apache Spark を Windows に設定したが 今回は、 Linux (CentOS8) で行う。 ■ 環境 OS : CentOS8 Java : OpenJDK 1.8.0 232 Apache Spark : spark v2.4.4 ■ 手順 【１】Java を設…

■ はじめに スクラム（Scrum）に勉強する。徐々に書き足していく。 以下が非常にわかりやすかった https://www.atmarkit.co.jp/ait/articles/1208/07/news128.html 目次 【１】スクラムとは？ 【２】スクラムの理論 １）スクラムの3本柱 ２）スクラムの5つの…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 の続き。 今回は、ディクショナリ(辞書) (Dictionary) 目次 【１】辞書 【２】基本操作 １）要素の取得 ２）空かどうかのチェック ３）キーの存在チェック ４）ループさせるには ５）辞…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 の続き。 今回は、タプルについて、メモする。 補足：namedtuple （名前付きタプル） namedtuple （名前付きタプル）については、以下の関連記事を参照のこと Python ～ namedtuple / …

■ はじめに AWS Glue のトラブルについて、少しづつだが記録しておく なお、boto3がらみは、以下の関連記事を参照のこと。 boto3 AWS Glue API のトラブル ～ trigger全般 編 ～ https://dk521123.hatenablog.com/entry/2020/10/23/110821 boto3 AWS Glue AP…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/20/230323 の続き。 VS CodeでPythonを使う上での設定方法について、記述する。 目次 【１】設定方法 １）Visual Studio Codeのインストール ２）Aanacondaのインストール ３）Python拡張機能をイ…

■ はじめ コメント文について扱う 目次 【１】Python の コメント文 【２】Python の javadoc 的なのは？ 【３】ドキュメント化ツール 【１】Python の コメント文 １）一行コメント文（# コメント） ２）複数行コメント文（""" コメント """） 【２】Python…

■ はじめに https://dk521123.hatenablog.com/entry/2018/03/28/224532 の続き。 データ解析支援ライブラリ Pandas について、ちょっとづつまとめる 目次 【１】Pandas （パンダス） 【２】インストール 【３】用語整理 １）Series（シリーズ） ２）DataFram…

■ はじめに boto3でS3を操作する方法をメモ。 目次 【０】boto3とは？ 【１】list_objects_v2 【２】get_object 【３】copy / copy_object 【４】delete_object / delete_objects 【５】put_object 【０】boto3とは？ AWS を Python から操作するためのライ…

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/09/122954 で、Visual Studio Code (VS Code) が長くなったので、わけてみた。 目次 【１】VS Code 【２】動画 【３】設定変更 １）Proxy変更 ２）個人的な設定 【４】主なショートカット １）検…

■ はじめに Python での JSON の読み込み・書き込みを行う 目次 【０】使用上の注意 １）値をダブルクォーテーションマーク囲む必要がある ２）末尾にカンマを入れるのはNG ３）ndjson については、別モジュールが必要 【１】JSON <=> 文字列 【２】JSONの読…

■ はじめに AWSへのアクセスするのに、SSHクライアントを触れたのでメモ。 目次 【０】主なSSHクライアント 【１】Powershell １）環境確認 ２）接続 【２】TeraTerm １）プロキシサーバ経由でアクセスする ２）使用上の注意 【３】Putty １）プロキシサーバ…

■ はじめに https://dk521123.hatenablog.com/entry/2019/07/18/234652 の続き。 今回は、Githubにssh接続でクローンできるようにする。 以下のサイトがわかりやすかった。 http://monsat.hatenablog.com/entry/generating-ssh-keys-for-github Githubへの接…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/13/000000 で、YAMLを勉強したので、 今回は、それをPythonで扱ってみる 目次 【１】PyYAML のインストール 【２】サンプル 例１：YAMLの読み込み 例２：YAMLの読み込み その２ 例３：YAML => JSO…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 今回は、Glueでのパラメータの受け渡しについて、考える。 ジョブ間の値の受け渡し 【１】実行プロパティ 【２】ジョブ パラメータ ... 渡すだけ（受け取れない） 【１】実行…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 GlueのBoto3とついでにAWS CLIについて、考える。 今回は、Glue デプロイ時に使用する主な boto3 API についてまとめておく。 また、2019/10/15現時点では、ジョブ、トリガー…

■ はじめに 今更ながらだが、AWSやAnsibleなどなど色々と必要になりそうなので YAMLについて、調べてみた。 目次 【１】YAML 【２】種類 １）スカラ ２）シーケンス ３）マッピング 【３】文法 １）コメント ２）変数（アンカー/エイリアス） 【４】改行の扱…

■ はじめに Pythonの文字列のメモ書き 目次 【１】文字列操作 【２】文字列の比較 【３】標準入力 【４】文字列のフォーマット指定 １）format ２）f-strings ３）% 演算子 【５】文字列定数 【６】大文字 / 小文字の変換 １）upper ２）lower ３）capitaliz…

■ はじめに Python のコマンドライン引数について、まとめる ■ コマンドライン引数 の扱い方 【１】sysモジュールのargvを利用する 【２】argparseモジュールを利用する 【１】sysモジュールのargvを利用する 使用上の注意 １）第0番目はファイル名で、第1番…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、Workflows (ワークフロー)について、調べてみた。 ■ Workflows (ワークフロー) Glueコンソール上で、トリガ、クローラ、ジョブのDAG（※）を GUIで作成、実行、管理で…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 Workflows (ワークフロー)がうまく動いていないので ログを張って調査したいので、Glueのログ全般について 調べてみた 目次 【１】ログ出力先 １）Job / PySpark - Glue1.0 ２…

■ はじめに Python の ファイルの扱い方を学ぶ 目次 【１】読み込み １）read() ２）readlines() 【２】書き込み １）write() [補足] 書き込みモード 【３】with ブロック 【４】日本語（UTF-8）対応 【５】サンプル 例１：read() / with 例２：readlines() …

■ はじめに Python のシリアライズ（serialize）・デシリアライズ（deserialize）を扱う ■ シリアライズ / デシリアライズ 「import pickle」を使う シリアライズ（serialize） # シリアライズ with open("person.pickle", 'wb') as file: pickle.dump(tom, …

■ はじめに AWS Systems Manager（SSM）の中の Session Manager で、 踏み台サーバ（Bastion server。Bastion：要塞）なしでアクセスできる らしいので、調べてみた 目次 【１】AWS Systems Manager 【２】パラメータストア 【３】Session Manager (セッショ…

■ はじめに BIツールの内、Pentaho (ペンタホ)について、調べてみた ■ Pentaho * オープンソースのBIツール * Java製 参考文献 https://thinkit.co.jp/article/1153/1 http://m12i.hatenablog.com/entry/2015/04/12/083508 https://www.ossnews.jp/oss_info/…

■ はじめに 二要素認証/多要素認証（MFA：Multi-Factor Authentication）について 触れる機会があったので、まとめる 目次 【１】多要素認証 【１】多要素認証 認証の以下の3要素のうち、2つ以上を組み合わせて認証すること ～～～～ １）知識情報（Somethin…