2019-10-01から1ヶ月間の記事一覧

【Scrum】スクラム開発 ~ 入門編 ~

■ はじめに スクラム(Scrum)に勉強する。徐々に書き足していく。 以下が非常にわかりやすかった https://www.atmarkit.co.jp/ait/articles/1208/07/news128.html 目次 【1】スクラムとは? 【2】スクラムの理論 1)スクラムの3本柱 2)スクラムの5つの…

【Python】Python ~ 基本編 / 辞書 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 の続き。 今回は、ディクショナリ(辞書) (Dictionary) 目次 【1】辞書 【2】基本操作 1)要素の取得 2)空かどうかのチェック 3)キーの存在チェック 4)ループさせるには 5)辞…

【Python】 Python ~ 基本編 / タプル ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 の続き。 今回は、タプルについて、メモする。 補足:namedtuple (名前付きタプル) namedtuple (名前付きタプル)については、以下の関連記事を参照のこと Python ~ namedtuple / …

【トラブル】【AWS】AWS Glue のトラブル ~ job編 [1] ~

■ はじめに AWS Glue のトラブルについて、少しづつだが記録しておく なお、boto3がらみは、以下の関連記事を参照のこと。 boto3 AWS Glue API のトラブル ~ trigger全般 編 ~ https://dk521123.hatenablog.com/entry/2020/10/23/110821 boto3 AWS Glue AP…

【VS Code】Visual Studio Code ~ Pythonを設定する ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/20/230323 の続き。 VS CodeでPythonを使う上での設定方法について、記述する。 目次 【1】設定方法 1)Visual Studio Codeのインストール 2)Aanacondaのインストール 3)Python拡張機能をイ…

【Python】Python ~ 基本編 / コメント文 ~

■ はじめ コメント文について扱う 目次 【1】Python の コメント文 【2】Python の javadoc 的なのは? 【3】ドキュメント化ツール 【1】Python の コメント文 1)一行コメント文(# コメント) 2)複数行コメント文(""" コメント """) 【2】Python…

【Python】Pandas ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2018/03/28/224532 の続き。 データ解析支援ライブラリ Pandas について、ちょっとづつまとめる 目次 【1】Pandas (パンダス) 【2】インストール 【3】用語整理 1)Series(シリーズ) 2)DataFram…

【AWS】Amazon S3 ~ Boto3編 ~

■ はじめに boto3でS3を操作する方法をメモ。 目次 【0】boto3とは? 【1】list_objects_v2 【2】get_object 【3】copy / copy_object 【4】delete_object / delete_objects 【5】put_object 【0】boto3とは? AWS を Python から操作するためのライ…

【VS Code】Visual Studio Code ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/09/122954 で、Visual Studio Code (VS Code) が長くなったので、わけてみた。 目次 【1】VS Code 【2】動画 【3】設定変更 1)Proxy変更 2)個人的な設定 【4】主なショートカット 1)検…

【Python】Python ~ 基本編 / JSON ~

■ はじめに Python での JSON の読み込み・書き込みを行う 目次 【0】使用上の注意 1)値をダブルクォーテーションマーク囲む必要がある 2)末尾にカンマを入れるのはNG 3)ndjson については、別モジュールが必要 【1】JSON <=> 文字列 【2】JSONの読…

【フリーソフト】SSHクライアント

■ はじめに AWSへのアクセスするのに、SSHクライアントを触れたのでメモ。 目次 【0】主なSSHクライアント 【1】Powershell 1)環境確認 2)接続 【2】TeraTerm 1)プロキシサーバ経由でアクセスする 2)使用上の注意 【3】Putty 1)プロキシサーバ…

【Github】Github に ssh 接続するには

■ はじめに https://dk521123.hatenablog.com/entry/2019/07/18/234652 の続き。 今回は、Githubにssh接続でクローンできるようにする。 以下のサイトがわかりやすかった。 http://monsat.hatenablog.com/entry/generating-ssh-keys-for-github Githubへの接…

【Python】Python ~ 基本編 / YAML ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/13/000000 で、YAMLを勉強したので、 今回は、それをPythonで扱ってみる 目次 【1】PyYAML のインストール 【2】サンプル 例1:YAMLの読み込み 例2:YAMLの読み込み その2 例3:YAML => JSO…

【AWS】AWS Glue ~ Workflows / パラメータ渡し ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 今回は、Glueでのパラメータの受け渡しについて、考える。 ジョブ間の値の受け渡し 【1】実行プロパティ 【2】ジョブ パラメータ ... 渡すだけ(受け取れない) 【1】実行…

【AWS】AWS Glue ~ Boto3 / 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 GlueのBoto3とついでにAWS CLIについて、考える。 今回は、Glue デプロイ時に使用する主な boto3 API についてまとめておく。 また、2019/10/15現時点では、ジョブ、トリガー…

【YAML】YAML (YAML Ain't Markup Language)

■ はじめに 今更ながらだが、AWSやAnsibleなどなど色々と必要になりそうなので YAMLについて、調べてみた。 目次 【1】YAML 【2】種類 1)スカラ 2)シーケンス 3)マッピング 【3】文法 1)コメント 2)変数(アンカー/エイリアス) 【4】改行の扱…

【Python】Python ~ 基本編 / 文字列 ~

■ はじめに Pythonの文字列のメモ書き 目次 【1】文字列操作 【2】文字列の比較 【3】標準入力 【4】文字列のフォーマット指定 1)format 2)f-strings 3)% 演算子 【5】文字列定数 【6】大文字 / 小文字の変換 1)upper 2)lower 3)capitaliz…

【Python】 Python ~ 基本編 / コマンドライン引数 ~

■ はじめに Python のコマンドライン引数について、まとめる ■ コマンドライン引数 の扱い方 【1】sysモジュールのargvを利用する 【2】argparseモジュールを利用する 【1】sysモジュールのargvを利用する 使用上の注意 1)第0番目はファイル名で、第1番…

【AWS】AWS Glue ~ Workflows / 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、Workflows (ワークフロー)について、調べてみた。 ■ Workflows (ワークフロー) Glueコンソール上で、トリガ、クローラ、ジョブのDAG(※)を GUIで作成、実行、管理で…

【AWS】AWS Glue ~ ログ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/10/223018 の続き。 Workflows (ワークフロー)がうまく動いていないので ログを張って調査したいので、Glueのログ全般について 調べてみた 目次 【1】ログ出力先 1)Job / PySpark - Glue1.0 2…

【Python】 Python ~ 基本編 / ファイル読込・書込 ~

■ はじめに Python の ファイルの扱い方を学ぶ 目次 【1】読み込み 1)read() 2)readlines() 【2】書き込み 1)write() [補足] 書き込みモード 【3】with ブロック 【4】日本語(UTF-8)対応 【5】サンプル 例1:read() / with 例2:readlines() …

【Python】 Python ~ 基本編 / シリアライズ・デシリアライズ ~

■ はじめに Python のシリアライズ(serialize)・デシリアライズ(deserialize)を扱う ■ シリアライズ / デシリアライズ 「import pickle」を使う シリアライズ(serialize) # シリアライズ with open("person.pickle", 'wb') as file: pickle.dump(tom, …

【AWS】AWS Systems Manager ~ 入門編 ~

AWS

■ はじめに AWS Systems Manager(SSM)の中の Session Manager で、 踏み台サーバ(Bastion server。Bastion:要塞)なしでアクセスできる らしいので、調べてみた 目次 【1】AWS Systems Manager 【2】パラメータストア 【3】Session Manager (セッショ…

【Pentaho】Pentaho ~ 基礎知識編 ~

■ はじめに BIツールの内、Pentaho (ペンタホ)について、調べてみた ■ Pentaho * オープンソースのBIツール * Java製 参考文献 https://thinkit.co.jp/article/1153/1 http://m12i.hatenablog.com/entry/2015/04/12/083508 https://www.ossnews.jp/oss_info/…

多要素認証(MFA:Multi-Factor Authentication)

■ はじめに 二要素認証/多要素認証(MFA:Multi-Factor Authentication)について 触れる機会があったので、まとめる 目次 【1】多要素認証 【1】多要素認証 認証の以下の3要素のうち、2つ以上を組み合わせて認証すること ~~~~ 1)知識情報(Somethin…

【Python】単体試験 / unittest ~ 入門編 ~

■ はじめに Pythonの単体試験を行う必要がありそうなので、 Pythonの単体試験のやり方を調べてみた 目次 【1】Python の単体試験 【2】Hello world 【3】トラブルシューティング 1)import でエラーが発生し、単体試験が実行できない 2)ファイル名が英…

【AWS】AWS Glue ~ 入門編 ~

AWS

■ はじめに Glue について、徐々に調べて書き込んでおく 目次 【1】AWS Glue 【2】Lambda との違い 【3】使用上の注意 1)サポートバージョンに注意 2)ジョブタイプ「Spark」でサポート外のモジュールがある 3)IAM権限設定が必要 【4】全体像 1)…