2020-01-01から1ヶ月間の記事一覧
■ はじめに パスワードなどの認証情報をAWSでセキュアに管理する方法として 以下のサービスがあるらしいので、調べてみた 今回は、AWS SSM『【１】AWS Systems Manager パラメータストア』を 取り扱う。 AWSのデータ管理サービス 【１】AWS Systems Manager …
■ はじめに バックグラウンド（background）で実行する際のコマンドを纏める 目次 【０】ps 【１】＆ 【２】fg 【３】nohup 【０】ps * ps = process (プロセス) * 実行しているプロセス（バックグラウンド実行含む）を一覧表示 * 詳細は、以下の関連記事を…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/14/000000 で、Glue の Workflows/Jobs/trigger について扱った。 今回は、Glue の 接続（connection）について扱う。 目次 【１】Glue connection 【２】関連する主なBoto3 API一覧 【３】使用上…
■ はじめに Github の Webhook （Webフック）について、触れる 目次 【１】Webhook でできること 【２】設定手順 １）Webhook画面に遷移 ２）Webhook の設定 【３】イベントについて 【１】Webhook でできること 例１）AWSサービス（CodeBuildなど）やCI/CD…
■ はじめに CI/CD を実現するAWSサービスのひとつである AWS CodePipeline について調べてみる 目次 【０】CI/CD 【１】CodePipeline とは？ 【２】AWS Code シリーズ １）AWS CodeCommit ２）AWS CodeBuild ３）AWS CodeDeploy 【３】動画 【４】CodePipeli…
■ はじめに 例えば、開発などでマスターデータをDELETE&INSERTするのに IDやコードを変数に置き換えて管理したい場合がある。 ==== delete from sample_table where code = 【コード】; -- 同じ値じゃないとダメ insert into sample_table (code, name) VALU…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/23/231827 でも触れた AWS CodeBuild について、 使うことになったので、勉強 目次 【１】AWS CodeBuild 【２】公式サイト 【３】使用上の注意 【４】大雑把な流れ 【５】buildspec ファイル（bui…
■ はじめに nose を使うことになりそうなので、メモ。 ■ 設定 pip install nose # カバレッジを取得するために... pip install coverage ■ nosetests コマンド オプション一覧 https://het.as.utexas.edu/HET/Software/Nose/plugins/cover.html # オプション…
■ はじめに mox について、検索しても情報が少なかったので 少しづつまとめる ■ mox * Python向けのMockフレームワーク * JavaのEasyMockを基に作られた => EasyMock は、以下の関連記事を参照 https://dk521123.hatenablog.com/entry/7674982 ■ 設定 pip in…
■ はじめに create_Job などの AWS Glue に関わる boto3 API のトラブルについて、 少しづつだが記録しておく 今回は、boto3 AWS Glue API の scheduled trigger のトラブルを纏める。 それ以外のboto3 AWS Glue API の trigger全般 のトラブルについては、 …
■ はじめに Apache Guacamole について、徐々にメモる。 公式サイト https://guacamole.apache.org/ ■ Apache Guacamole * フリーのブラウザベースのリモートデスクトップクライアント * Guacamole(ワカモレ / ワカモーレ / グァカモーレ) => Guacamoleは、…
■ はじめに https://dk521123.hatenablog.com/entry/2014/09/11/002003 で扱った pdqlコマンドについて、よく使うのをまとめておく。 自分用のメモ。 目次 【１】環境確認 １）インストールされているのか？ ２）インストール 【２】pdqlコマンド １）ログイ…
■ はじめに https://dk521123.hatenablog.com/entry/2018/09/22/142348 で、テンプレートエンジン「jinja2」について扱ったが、 標準でもテンプレートエンジンがあるらしいので、触れてみた。 結論 シンプルなものならいいが、ループやIFなどはないので、 他…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/14/221126 https://dk521123.hatenablog.com/entry/2019/11/24/225534 の続き。 PySpark でのデータの基本操作について、学ぶ。 目次 【０】collect（ループさせる） 【１】filter (抽出) 【２】g…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/01/000000 の続き。 目次 【０】設定環境 １）前提条件 【１】Derby のインストール １）Derby の ダウンロード ２）Derby の インストール ３）環境変数の設定 ４）環境変数の有効化 ５）動作確…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 の Linux版。 目次 【０】設定環境 【１】Hadoop のインストール １）Hadoopのダウンロード ２）Hadoopのインストール ３）環境変数の設定 ４）環境変数の有効化 【２】Hadoop のデータ…
