2020-03-01から1ヶ月間の記事一覧
■ はじめに 機械学習を勉強する際にデータセットが必要なのだが チュートリアルするだけなのに自分でデータ集めんの大変。 無料で提供してくれるサイトもあるので、メモ。 目次 【１】UCI Machine Learning Repository 【２】Kaggle（カグル） 【３】SIGNATE…
■ はじめに PostgreSQL / Redshift の JDBC URL をシェルスクリプトでパースして 各要素を参照する可能性があるので、 以下のサイトを参考にサンプルを実装してみる https://pslabo.hatenablog.com/entry/20150323/p1 別解：cut / rev コマンドによる方法 cu…
■ はじめに カリフォルニア消費者プライバシー法（CCPA）について 調べる機会があったので、メモ。 調査中に、EU一般データ保護規則（GDPR）についてもでてきたので ついでにメモしておく。 この流れは、そのうち、日本にも来そうなので、知っといて損はない…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/18/223033 https://dk521123.hatenablog.com/entry/2020/03/19/231652 の続き。 今回は、Amazon SageMaker の 組み込みアルゴリズム （ビルトインアルゴリズム）について学ぶ。 （機械学習につい…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/18/223033 で、Amazon SageMaker の AWS本家のチュートリアルを行った。 しかし、Amazon SageMaker の全体像や便利さはおおよそ掴めたが、 コピペ＆実行で機械的行ったので、 実際に自分でもモデ…
■ はじめに 今日、 Amazon SageMaker について、少し触れたので 基本的な用語やチュートリアル まで、まとめる 個人的な感想 使い勝手はいい。 ■ Amazon SageMaker => Sage(セージ) = (思慮深く経験に富んで)賢い，賢明な, 賢人 https://ejje.weblio.jp/cont…
■ はじめに 画像認識の話題になって、 YOLO というライブラリを教えてもらったのでメモる ■ YOLO : Real-Time Object Detection https://pjreddie.com/darknet/yolo/ * オープンソースのリアルタイム物体検出ライブラリ * YOLO（ヨロ） = You Only Look Once…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/31/231636 の続き。 今回は、『【２】AWS Secrets Manager』を扱う。 目次 【１】AWS Secrets Manager 補足：シークレットとは？ 【２】パラメータストアとの比較 【３】シークレットキー作成 １…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/25/231235 の続き。 今回は、 文字列置換の関数に絞って、知識を整理する 目次 【０】API仕様 【１】translate() 【２】replace() 【３】regexp_replace() 【０】API仕様 https://cwiki.apache.or…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/02/233902 の続き。 YouTube で機械学習(Machine Learnig; ML)を 勉強できるいい感じ動画があったのでメモ。 （英語なので、ついでに英語の勉強もできる） 教材（動画） 全10回あるみたい。 はじ…
■ はじめに 意外とpsqlでパスワードを省略することが多く、 AWS CodeBuildでも使用しそうなので、メモしておく 目次 【１】Linux １）~/.pgpassに入れる方法 ２）環境変数「PGPASSWORD」に入れる方法 【２】Windows 【１】Linux 方法は２つ。 １）~/.pgpass…
■ はじめに AWS Step Functions ってのが、現場ででてきたので、 徐々にではあるが、メモ。 目次 【１】AWS Step Functions 【２】用語整理 １）ステートマシン (State Machine) ２）タスク 【３】AWSの類似サービス １）Amazon Simple Queue Service (SQS) …
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/25/231235 の続き。 Hiveの解析を行っていて、 徐々にだが知識が積み重なってきたので、ここで整理。 目次 【０】Hiveコマンド 【１】 Hiveコマンドオプション 【２】 WITH 句 【０】Hiveコマンド…
■ はじめに https://dk521123.hatenablog.com/entry/2018/03/28/224532 の続き。 今回は、Keras （ケラス）について、扱う。 ■ Keras （ケラス） https://keras.io/ja/ 公式サイトより抜粋 ～～～ Pythonで書かれた，TensorFlowまたはCNTK，Theano上で 実行…
■ はじめに https://dk521123.hatenablog.com/entry/2018/03/28/224532 の続き。 今回は、scikit-learn（サイキット・ラーン）を 少しづつでも学んでいく 今回の学べること A）scikit-learn 使い方/環境設定 B）以下の機械学習の手法 １）ホールドアウト法 …
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/08/113356 を書く際に、ちょこちょこでてきた Matplotlib について 取り上げる 目次 【１】Matplotlib 【２】グラフの種類 【３】動画 【４】環境設定 【５】サンプル 例１：Hello world - シグモ…
