AWS

【AWS】Amazon S3 ~ アクセス制御編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/03/06/212734 https://dk521123.hatenablog.com/entry/2017/04/03/235355 https://dk521123.hatenablog.com/entry/2017/12/15/232236 の続き。 トラブルシューティングのために、 Amazon S3 の アク…

【AWS】AWS Glue ~ AWS Glue Studio ~

AWS

■ はじめに 2020/09/24 現在、 AWS Glue コンソール上に「AWS Glue Studio New」って でてたので、どんなサービスかを調べてみた。 因みに、検索したところ、情報源は、以下の英語サイトだけ。 https://aws.amazon.com/jp/about-aws/whats-new/2020/09/annou…

【AWS】Glue から Redshift/PostgreSQL に接続する ~ PySpark編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/26/193237 の続き。 AWS Glue の Spark Job で、Redshift にデータを追加することなどを考える また、前回も述べているが、 Redshiftは、PostgreSQLから派生したものなので、 PostgreSQLでも使え…

【AWS】Amazon API Gateway ~ 入門編 ~

AWS

■ はじめに https://amazon.qwiklabs.com/ で「Introduction to Amazon API Gateway(日本語版)」って いうハンズオンラボがあったので、少し勉強してみる 個人的な感想 * ハンズオンラボにそって行えば、大体な雰囲気は理解できる * 特に、サービス始めで…

【AWS】Amazon Redshift ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/07/124519 https://dk521123.hatenablog.com/entry/2020/02/22/002139 の続き。 QWIK Labs にある講座「Introduction to Amazon Redshift (日本語版)」 が無料でハンズオンラボを受けられるので、…

【AWS】Glue から Redshift/PostgreSQL に接続する ~ Python shell編 ~

AWS

■ はじめに AWS Glue の Job(Python) から、Redshiftに接続することをやったのだが 色々と考えることがあったので、まとめておく。 また、Redshiftは、PostgreSQLから派生したものなので、 PostgreSQLでも使える。 今回、やりたいこと AWS Glue の Job (後…

【AWS】AWS Glue ~ Glue Version 2.0 ~

AWS

■ はじめに AWS Glue のJobタイプ「Spark」で、Glue version 2.0 がでたらしく、 ぱっと調べた限りでよさそうだったので、徐々にメモしていく。 2021/04/07追記 Glue2.0 の Python Version が、 いつの間にか、Python3.6 => 3.7 になっている。。。 https://…

【トラブル】【AWS】Amazon EMR に関するトラブル

■ はじめに EMRで起こったトラブルを纏める。 目次 【1】エラー「GlueJobRunnerSession is not authorized to perform」が表示 【2】エラー「Terminated with errors Bootstrap failure」が表示 【3】エラー「IOException: (in directory "."): error=2, …

【AWS】AWS のコスト節約を考える ~ S3編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/07/26/115400 https://dk521123.hatenablog.com/entry/2017/12/07/223753 の続き。 今回は、S3でのコスト節約を考える。 普通のシステムを扱う場合、S3のコストはあんまり考えたことがなかったが、 …

【AWS】Amazon Athena ~ 基本編 / AWS Glue との連携 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/06/17/173717 の続き。 今回は、AWS Glue で、クローリングしたデータを Athena で表示する際のメモ。 AWS Glue の クローラについては、以下の関連記事を参照のこと。 https://dk521123.hatenablog.…

【AWS】Amazon EMR ~ boto3 編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/20/230519 https://dk521123.hatenablog.com/entry/2020/05/27/175610 の続き。 boto3 を使って、 Amazon EMR を操作する ■ boto3 API 仕様 https://boto3.amazonaws.com/v1/documentation/api/la…

【AWS】Amazon Athena ~ 入門編 ~

AWS

■ はじめに AWS上のでかいファイルを確認するのに、 Amazon Athena (アテナ) をいじる機会を得たので、メモする。 目次 【1】Amazon Athena とは? 【2】S3上のファイルに対して、SELECT文を実行するまで 【ZZ】トラブルシューティング 【1】Amazon Athen…

【AWS】CodeBuild ~ 各開発フェーズで設定を切り替えることを考える ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/16/113816 で触れた以下の開発フェーズで設定を切り替えることを考えてみた 1)開発環境(dev) 2)検証環境 (stage) 3)本番環境 (prod) 例えば、各フェーズによってS3バケット名を変更したい…

【AWS】CodeDeploy ~ 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/23/231827 の続き。 AWS Code シリーズ の CodeDeploy を扱いそうなので 予習しておく 目次 【1】CodeDeploy とは? 【2】特徴 【3】対象サービス - デプロイ対象先 【4】AppSpecファイル(ap…

【AWS】Amazon EMR ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/20/230519 の続き。 Amazon EMR (Elastic MapReduce) を動かしてみたり、 基本的なことを学ぶ。 目次 【1】EMRのクラスタを起動する 【2】EMRでHIVEを実行する 【3】EMRのログ 【4】EMRの全体…

【AWS】Amazon ECR ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 の続き。 今回は、Amazon ECR (Elastic Container Registry) に対して 色々な操作をメモる。 目次 【1】 ECR から イメージをプルする 【1】 ECR から イメージをプルする ECR から E…

【トラブル】【AWS】Amazon ECR でのトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 https://dk521123.hatenablog.com/entry/2020/05/23/080655 で起こったトラブルシューティングを纏める。 目次 【1】エラー…

【AWS】CodeBuild で カスタムDockerイメージを使ってビルドする

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 の続き。 Amazon ECR を学んだので、今回は、当初の目標である CodeBuild で、カスタム Docker ビルドイメージを 使用する方法について、学ぶ。 ■ 導入前に 標準で用意されているDocker…

【AWS】Amazon ECR ~ 入門編 ~

AWS

■ はじめに CodeBuild で、カスタム Docker ビルドイメージを 使用する必要ができたのだが、 その際に、Amazon ECR が必要らしいので、勉強する。 なお、Amazon EMRではない。 (似通ったサービス名が、増えてややっこしいんだよなー) https://dk521123.haten…

【トラブル】【AWS】AWS Glue のトラブル ~ crawler編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/25/232155 の続き。 AWS Glue のトラブルについて、少しづつだが記録しておく 今回は、クローラのトラブルについて、まとめる。 目次 【1】Crawlerからエラー「ERROR: Internal Service Exceptio…

【AWS】AWS Systems Manager ~ Session ManagerでEC2にアクセスする ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/05/121119 の続き。 今回は、SSH経由ではなく、 AWS Systems Manager (SSM) の Session Manager (セッションマネージャ) を使って、EC2にアクセスする方法を記す。(はまりポイントもメモ) ■ Ses…

【AWS】AWS Glue ~ Boto3 / セキュリティ設定編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/14/000000 https://dk521123.hatenablog.com/entry/2020/01/29/224525 の続き。 今回は、Glue の セキュリティ設定(security configuration) について扱う。 目次 【1】セキュリティ設定 1)S…

【AWS】Amazon Redshift ~ 環境構築編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/22/002139 の続き。 今回は、環境構築についてのメモ。 ■ 構築手順 事前準備 1) VPCを作成 ⇒ 以下の「トラブル:目的の VPC が VPC のドロップダウンリストに表示されない」を参照 2)Redshift…

【AWS】Amazon SageMaker ~ 組み込みアルゴリズム ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/18/223033 https://dk521123.hatenablog.com/entry/2020/03/19/231652 の続き。 今回は、Amazon SageMaker の 組み込みアルゴリズム (ビルトインアルゴリズム)について学ぶ。 (機械学習につい…

【AWS】Amazon SageMaker ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/18/223033 で、Amazon SageMaker の AWS本家のチュートリアルを行った。 しかし、Amazon SageMaker の全体像や便利さはおおよそ掴めたが、 コピペ&実行で機械的行ったので、 実際に自分でもモデ…

【AWS】Amazon SageMaker ~ 入門編 ~

AWS

■ はじめに 今日、 Amazon SageMaker について、少し触れたので 基本的な用語やチュートリアル まで、まとめる 個人的な感想 使い勝手はいい。 ■ Amazon SageMaker => Sage(セージ) = (思慮深く経験に富んで)賢い,賢明な, 賢人 https://ejje.weblio.jp/cont…

【AWS】機密データの管理 ~ Secrets Manager 編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/31/231636 の続き。 今回は、『【2】AWS Secrets Manager』を扱う。 目次 【1】AWS Secrets Manager 【2】パラメータストアとの比較 【3】シークレットキー作成 1)作成前の準備 2)作成手…

【AWS】AWS Step Functions ~ 基礎知識編 ~

AWS

■ はじめに AWS Step Functions ってのが、現場ででてきたので、 徐々にではあるが、メモ。 目次 【1】AWS Step Functions 【2】用語整理 1)ステートマシン (State Machine) 2)タスク 【3】AWSの類似サービス 1)Amazon Simple Queue Service (SQS) …

【AWS】KMS ~ 入門編 ~

AWS

■ はじめに 色々なAWSサービスをセキュアに使うために必要な AWS Key Management Service (KMS) について、メモ。 ■ 動画 【AWS Black Belt Online Seminar】AWS Key Management Service https://www.youtube.com/watch?v=4F5rSxzu0U4 ■ KMS データ暗号化に…

【AWS】Amazon Redshift ~ 入門編 ~

AWS

■ はじめに Amazon Redshift について、徐々にメモっていく 目次 【1】Amazon Redshift 【2】特徴 【3】メリット・デメリット 1)メリット 2)デメリット 【4】他DB・サービスとの違い 【5】Redshift の システム構成 1)リーダーノード(Leader Nod…