AWS
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 https://dk521123.hatenablog.com/entry/2022/04/19/140219 の続き。 Amazon WorkSpaces の Ubuntu Desktop を扱うことにな…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 https://dk521123.hatenablog.com/entry/2023/11/03/234825 の続き。 今回は、sls offline について扱う。 目次 【１】sls offline 【２】インストール １）確認 【３】起動の仕方 【４…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 の続き。 今回は、サービス作成～サービス削除まで、 Hello worldしてみる 目次 【１】AWSアカウントの設定 【２】サービス作成 【３】サービスのデプロイ 【４】Lambdaの実行 【５】サ…
■ はじめに Serverless Framework ってのを触る機会があったのでメモ。 インストールでかなりハマったが、 AWSアカウントがなくても、ローカル環境で簡単に AWS Lambda の開発できるので、かなりいい、、、 目次 【１】Serverless Framework 【２】環境設定 …
■ はじめに MWAA Local で AWSに繋げるようにする必要ができたのでメモ。 あと、個人的なことで作業が簡単になるように MWAA Local をちょこっと改造する 目次 【１】MWAA Local で AWSに繋げるようにするには Case１：docker/config/.env.localrunner に追…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 https://dk521123.hatenablog.com/entry/2021/11/07/132014 の続き。 AWS MWAAを使うことになり、 開発環境として、MWAA Local (aws-mwaa-local-runner)を 使うことになるとのことなの…
■ はじめに https://dk521123.hatenablog.com/entry/2020/06/17/173717 https://dk521123.hatenablog.com/entry/2020/07/15/162459 の続き。 Lake Formation + Athena のデータアクセス調査の一環で AWA Athena （アテナ）に関連するAWS CLI を使ったので メ…
■ はじめに エラー内容と原因が全くマッチしない現象にハマりそうになったが、 以下のサイトで助けられたのでメモ。 https://qiita.com/ichihara-development/items/45afcc54aeddfd69bce4 【１】事象 お借りしていたAWS環境を一旦クリーンアップしようとして…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 https://dk521123.hatenablog.com/entry/2023/08/19/025641 の続き。 今回は、Amazon EMR 上で Flink を動かすうえで学んだことを 徐々にではあるが、まとめておく 目次 【１】Flink を…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMR 上で、Flink を実行する際に 結構ハマりまくったので、メモっておく 目次 【１】Flink 実行までの手順 Step１：EMRクラスタを作成 Step２：Flink YARNを開…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMRのFlinkにおいて、 AWS Glue Data Catalog を使用する際の技術事項をメモっておく 目次 【０】注意点 １）AWS EMR の Flink 部分の公式ドキュメントの日本…
■ はじめに AWS EMR で大分ハマったが、ようやく原因がわかったので そのことをメモる。 【１】現象 https://dk521123.hatenablog.com/entry/2023/08/16/201948 で、AWS EMRのBootstrapで、S3 bucketへのアクセスをする際に 以下「エラー内容」が表示した。 …
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/11/135632 で、AWS EMR 内の EC2 内を Session Manager で入ることをやったが 今回、初めから自分でインフラ部分も設定したので、 その時のノウハウをまとめておく 目次 【１】EMRでSession Manag…
■ はじめに 最近、EMRに対して悪戦苦闘していて 開き直って、チュートリアルを行ったら 少し道が開いた感じになったので、 EMRのチュートリアルに関する有用性も含めてメモる。 目次 【１】EMRのチュートリアルの有用性 １）ハマりポイントの回避 【２】チュ…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/13/155755 の続き。 Amazon EMR の IAM Role周りについて 学んだので、徐々にメモっておく。 （インフラ超大変、、、） 目次 【０】EMRで関連するロール種類 【１】Service-linkedロール １）作成…
■ はじめに EMR 上で Flink を動かす可能性がでてきたので 徐々にメモっておく 目次 【１】AWS環境でFlinkを実行するには 【２】ドキュメント 【３】バージョンの関連性 【４】ログの場所 【１】AWS環境でFlinkを実行するには * AWS環境でFlinkを実行する際…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 https://dk521123.hatenablog.com/entry/2023/05/25/000000 の続き。 今回は、AWS MSK Connect の 設定部分、特に、機密に関わるDBなどの接続情報を Secret Manager から取得することを…
■ はじめに Amazon MSK Connect （Amazon Managed Streaming for Apache Kafka） の REST API について、調べていたのだが、 結局は、AWS CLIの方がいいといったこともあるので、そこらへんをメモ。 目次 【１】Amazon MSK の AWS CLI １）MSK ２）MSK Conne…
■ はじめに 今回は、Terraform で AWS Key Management Service (KMS) を作る なお、KMSの復習は、以下の関連記事を参照のこと KMS ～ 入門編 ～ https://dk521123.hatenablog.com/entry/2020/02/27/232553 目次 【１】公式ドキュメント １）Resource: aws_km…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 から分冊。 今回は、AWS MSK Connect をTerraform で作成する MSK = Managed Streaming for apache Kafka Amazon MSK ～ 入門編 ～ https://dk521123.hatenablog.com/entry/2023/04/21/…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/21/000000 の続き。 https://dk521123.hatenablog.com/entry/2023/05/14/122215 で、AWS環境に Amazon MSK（Managed Streaming for apache Kafka）の Cluster および Connector を構築することが…
■ はじめに https://dk521123.hatenablog.com/entry/2023/02/23/000000 の続き。 Amazon EKS (Elastic Kubernetes Service) をハンズオンしていく。 今回、やってて副産物として「AWS CloudShell」ってのを 知れたのがよかった。 目次 【１】Kubernetes（EKS…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 で、ローカル上にて、Apache Kafka の構築を行ったが、 今回は、Amazon MSK (Managed Streaming for apache Kafka)って、 AW…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/23/000000 の続き。 https://dk521123.hatenablog.com/entry/2023/04/09/104204 で、ローカル環境からTerraform で AWS環境にデプロイする方法を書いたが、 デプロイ対象によっては権限上、Switch…
https://dk521123.hatenablog.com/entry/2023/03/24/211033 https://dk521123.hatenablog.com/entry/2023/04/01/002005 の続き。 今回は、Scalaで、AWS SDK for Java を使ったSecrets Managerのサンプル集 目次 【０】build.sbt 【１】Secrets Managerをハン…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/24/211033 の続き。 今回は、Scalaで、AWS SDK for Java を使ったS3のサンプル集 目次 【０】公式のサンプル 【１】build.sbt 【２】S3をハンドリングする共通処理 【０】公式のサンプル https://…
■ はじめに Spark/Scalaの開発環境構築 ～ Windows編 ～ https://dk521123.hatenablog.com/entry/2023/03/20/115450 で、『本当は、Dockerで一発でばーんって作りたい、、、』って 言ったのだが、それを実践してみた 以前やった https://dk521123.hatenablog…
■ はじめに AWS Glue で Scala を使うことになって悪戦苦闘中なのだが Scalaの実装のしにくさとして、 Pythonのように便利な boto3 がある訳ではないので調べてみた。 とりあえず、以下のサービスを利用したい。 ~~~~~ + S3 + Secrets Manager + SES ~~~~~ …
■ はじめに AWS Glue は、3年以上使っていて、その際は、PythonでGlue jobを記述していた。 今、行っている仕事で、Scalaを使ってPoC（Proof of Concept：概念実証） をすることになったので、調べてみた。 別件：Glue4.0 ってゆーかーいつの間にGlue4.0がリ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/17/000000 で調査する過程で、 Glue4.0 がリリースしていることが分かったので、調べてみた 目次 【１】リリース時期 １）メモ：Legacy pagesのJobからは選択できない 【２】各バージョンの更新 …
