2020-10-01から1ヶ月間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2020/09/29/165636 の続き。 今回は、IAM Policy を使ったアクセス制御について、メモする。 これを細かく設定できれば、セキュリティ強化にかなり役立ちそう。 目次 【０】実装前に 【１】Read Onlyにす…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/16/205331 が長くなり、別ケースの例外メッセージもあったので分冊。 今回は、boto3 AWS Glue API の trigger全般 のトラブルを纏める 目次 【１】create_trigger() コール時に例外が発生する 【…
■ はじめに https://dk521123.hatenablog.com/entry/2020/07/20/232009 の続き。 Android で 英単語帳を作っているのだが 単語を覚えるための補助として、 関連したURLからYoutube/Browserを起動する ■ サンプル MainActivity.kt // ... // 呼び出し部分 val…
■ はじめに Androidで、URL をパースして各パラメータを取得したいので Kotlinで正規表現を学ぶ。 実行環境 https://try.kotlinlang.org/#/Examples/Hello,%20world!/Simplest%20version/Simplest%20version.kt ■ サンプル 例１：URLをパースして抽出する fu…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/01/000000 の続き。 今回は、より実践的なサンプル集。 目次 【１】電話番号を判定 【２】名前から姓名を抽出 【３】パターンと一致しているファイル名かどうか判定 【４】JDBCの各パーツの抽出 …
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 https://dk521123.hatenablog.com/entry/2020/04/06/235555 の続き。 データ解析支援ライブラリ Pandas の簡単なサンプル集をまとめておく 目次 【１】基本構文 １）初期化 ２）空判定 …
■ はじめに https://dk521123.hatenablog.com/entry/2020/10/12/152659 の『【８】エラー 「message:Insufficient Lake Formation permission(s) on global_temp」が表示』で「Lake Formation」って サービスが出てきたので、どんなものかと調べてみた。 目…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/25/232155 の続き。 AWS Glue の Job に関するトラブルシューティングが 長くなってしまったので、分冊する。 目次 【１】エラー「At least one security group must open all ingress ports」が…
![はてなブックマーク - 【トラブル】【AWS】AWS Glue のトラブル ～ job編 - [2] ～](https://b.hatena.ne.jp/entry/image/https://dk521123.hatenablog.com/entry/2020/10/12/152659)
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 https://dk521123.hatenablog.com/entry/2019/10/27/100014 の続き。 今回は、ディクショナリ(辞書) (Dictionary) の操作をまとめる。 目次 【１】マッピング 【２】zip : リスト型（li…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/20/230323 https://dk521123.hatenablog.com/entry/2019/10/24/000000 の続き。 VS CodeでPythonを使う上で便利な拡張機能、 特に、Python で PEP8フォーマット や Docstring に対応できるように…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/08/000000 の続き。 今回は、AWS Glue の PySpark (Glue2.0) で、Excelを扱う。 補足：PySpark (Glue1.0) 未満について 今回は、Pandas を使用する。 Pandas の PySpark でのデフォルトサポートは…
■ はじめに 前々からやってみたかった画像認識をやってみたくて勉強してたのだが いい動画をみつけた。 こちらの動画では、OpenCV を使っているので、環境設定も含めて、まとめる。 勉強になった動画 https://www.youtube.com/watch?v=WSTyoaK6dPU&list=PL1P…
■ はじめに Python の 音声分析ライブラリ 「LibROSA （リブロサ）」をメモ。 目次 【１】環境設定 【２】サンプル 例１：音声波形描画 例２：音声の特徴量を抽出する 【１】環境設定 pip pip install librosa Anaconda環境 conda install -c anaconda cffi …
■ はじめに https://dk521123.hatenablog.com/entry/2013/10/14/002656 https://dk521123.hatenablog.com/entry/2013/10/05/214058 https://dk521123.hatenablog.com/entry/2013/10/06/122942 https://dk521123.hatenablog.com/entry/2013/10/07/005850 http…
■ はじめに Gitクライアントソフトが使えなくなったので、 仕方がないから、一連の作業をコマンドラインで行う 目次 【１】基本コマンド １）git clone コマンド ２）git init コマンド ３）git add コマンド ４）git commit コマンド ５）git push コマンド…
■ はじめに https://dk521123.hatenablog.com/entry/2017/03/06/212734 https://dk521123.hatenablog.com/entry/2020/07/22/195336 の続き。 S3 のコスト削減のために、 S3 Glacier / S3 Glacier Deep Archive の導入を考えているが 調べてみると結構思った…
