■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 の続き。 リストの記事が長くなったので、整理して分冊。 また、Pythonの資格の問題ででてきたスライスなど あまり使っていなかったものを整理。 Python に関する資格 https://dk521123…

■ はじめに https://dk521123.hatenablog.com/entry/2020/09/29/165636 の続き。 今回は、IAM Policy を使ったアクセス制御について、メモする。 これを細かく設定できれば、セキュリティ強化にかなり役立ちそう。 目次 【０】実装前に 【１】Read Onlyにす…

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/16/205331 が長くなり、別ケースの例外メッセージもあったので分冊。 今回は、boto3 AWS Glue API の trigger全般 のトラブルを纏める 目次 【１】create_trigger() コール時に例外が発生する 【…

■ はじめに https://dk521123.hatenablog.com/entry/2020/07/20/232009 の続き。 Android で 英単語帳を作っているのだが 単語を覚えるための補助として、 関連したURLからYoutube/Browserを起動する ■ サンプル MainActivity.kt // ... // 呼び出し部分 val…

■ はじめに Androidで、URL をパースして各パラメータを取得したいので Kotlinで正規表現を学ぶ。 実行環境 https://try.kotlinlang.org/#/Examples/Hello,%20world!/Simplest%20version/Simplest%20version.kt ■ サンプル 例１：URLをパースして抽出する fu…

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/01/000000 の続き。 今回は、より実践的なサンプル集。 目次 【１】電話番号を判定 【２】名前から姓名を抽出 【３】パターンと一致しているファイル名かどうか判定 【４】JDBCの各パーツの抽出 …

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 https://dk521123.hatenablog.com/entry/2020/04/06/235555 の続き。 データ解析支援ライブラリ Pandas の簡単なサンプル集をまとめておく 目次 【１】基本構文 １）初期化 ２）空判定 …

■ はじめに https://dk521123.hatenablog.com/entry/2020/10/12/152659 の『【８】エラー 「message:Insufficient Lake Formation permission(s) on global_temp」が表示』で「Lake Formation」って サービスが出てきたので、どんなものかと調べてみた。 目…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/25/232155 の続き。 AWS Glue の Job に関するトラブルシューティングが 長くなってしまったので、分冊する。 目次 【１】エラー「At least one security group must open all ingress ports」が…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 https://dk521123.hatenablog.com/entry/2019/10/27/100014 の続き。 今回は、ディクショナリ(辞書) (Dictionary) の操作をまとめる。 目次 【１】マッピング 【２】zip : リスト型（li…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/20/230323 https://dk521123.hatenablog.com/entry/2019/10/24/000000 の続き。 VS CodeでPythonを使う上で便利な拡張機能、 特に、Python で PEP8フォーマット や Docstring に対応できるように…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/08/000000 の続き。 今回は、AWS Glue の PySpark (Glue2.0) で、Excelを扱う。 補足：PySpark (Glue1.0) 未満について 今回は、Pandas を使用する。 Pandas の PySpark でのデフォルトサポートは…

■ はじめに 前々からやってみたかった画像認識をやってみたくて勉強してたのだが いい動画をみつけた。 こちらの動画では、OpenCV を使っているので、環境設定も含めて、まとめる。 勉強になった動画 https://www.youtube.com/watch?v=WSTyoaK6dPU&list=PL1P…

■ はじめに Python の 音声分析ライブラリ 「LibROSA （リブロサ）」をメモ。 目次 【１】環境設定 【２】サンプル 例１：音声波形描画 例２：音声の特徴量を抽出する 【１】環境設定 pip pip install librosa Anaconda環境 conda install -c anaconda cffi …

■ はじめに https://dk521123.hatenablog.com/entry/2013/10/14/002656 https://dk521123.hatenablog.com/entry/2013/10/05/214058 https://dk521123.hatenablog.com/entry/2013/10/06/122942 https://dk521123.hatenablog.com/entry/2013/10/07/005850 http…

■ はじめに Gitクライアントソフトが使えなくなったので、 仕方がないから、一連の作業をコマンドラインで行う 目次 【１】基本コマンド １）git clone コマンド ２）git init コマンド ３）git add コマンド ４）git commit コマンド ５）git push コマンド…

■ はじめに https://dk521123.hatenablog.com/entry/2017/03/06/212734 https://dk521123.hatenablog.com/entry/2020/07/22/195336 の続き。 S3 のコスト削減のために、 S3 Glacier / S3 Glacier Deep Archive の導入を考えているが 調べてみると結構思った…

■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き、又は、以下の関連記事の一部。 https://dk521123.hatenablog.com/entry/2020/09/29/165636 今回は、 IAM（Identity and Access Management）のIAM Policy（ポリシー） について…

■ はじめに https://dk521123.hatenablog.com/entry/2017/03/06/212734 https://dk521123.hatenablog.com/entry/2017/04/03/235355 https://dk521123.hatenablog.com/entry/2017/12/15/232236 の続き。 トラブルシューティングのために、 Amazon S3 の アク…

■ はじめに シェルで何かを行う際に、あの時のあの処理ってどう書いたっけ？ ってことが多いので、メモ。 目次 【１】ファイル名を取り出す 【２】ファイル内容を表示する 【３】特定の拡張子でループさせる 【４】拡張子を別拡張子に置き換える 【５】ファ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/07/20/232009 の続き。 単語帳だけでなく、TOEICの文法問題も扱えるようにするために 質問⇒回答・解説のような画面を作りたい。 そこで、画面を切り替えられる Fragment（フラグメント）について扱う…

■ はじめに 2020/09/24 現在、 AWS Glue コンソール上に「AWS Glue Studio New」って でてたので、どんなサービスかを調べてみた。 因みに、検索したところ、情報源は、以下の英語サイトだけ。 https://aws.amazon.com/jp/about-aws/whats-new/2020/09/annou…

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/26/193237 の続き。 AWS Glue の Spark Job で、Redshift にデータを追加することなどを考える また、前回も述べているが、 Redshiftは、PostgreSQLから派生したものなので、 PostgreSQLでも使え…

■ はじめに 小ネタ。 今回は、テスト用のデータ(固定値)をダミーデータとして Hiveのテーブルに突っ込む方法をメモ。 ■ サンプル USE target_db; set hive.execution.engine=mr; CREATE EXTERNAL TABLE sample_test_table( sample_id STRING, name STRING, c…

■ はじめに https://dk521123.hatenablog.com/entry/2020/07/20/232009 の続き。 Android で 英単語帳を作っているのだが 以下のサイトなどにあるように https://atsueigo.com/vocabulary_google_image/ https://zinsoku.com/english-google-images/ 英単語…

■ はじめに いまさらながら、ImageView について、まとめる。 目次 【１】ImageView について 【２】 ImageView に関するあれこれ １）URLから画像を表示するには ２）ImageViewに表示されている画像ファイルを保存するには 【１】ImageView について * 画像…

■ はじめに Hive の 設定プロパティ(Configuration Properties) について 大分、知識が溜まってきたので、まとめておく。 公式サイト https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties * なお、Hadoopに関する設定プロパティにつ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/07/16/224332 の続き。 Hive の パーティション (Partition) にまつわるTipsをまとめておく cf Partition = 仕切り壁、分割、分配 目次 【１】Partition 関連の設定プロパティ １）hive.exec.dynamic…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/04/000000 https://dk521123.hatenablog.com/entry/2020/09/10/174223 https://dk521123.hatenablog.com/entry/2020/09/09/000000 https://dk521123.hatenablog.com/entry/2020/09/11/154403 http…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/04/000000 https://dk521123.hatenablog.com/entry/2020/09/10/174223 https://dk521123.hatenablog.com/entry/2020/09/09/000000 https://dk521123.hatenablog.com/entry/2020/09/11/154403 の続…