■ はじめに Kafka Connect で 期待した通りのパフォーマンスがでないので どう調査するのだろうって調べてた過程で、Rest API を見つけたので メモしておく。 目次 【１】Kafka connect の Rest API 一覧 １）おさらい：curlコマンド 【２】コネクタ １）コ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/30/000000 の続き。 dbt に関するお仕事が入ったので、急遽メモ。 目次 【１】dbt 【２】インストール 【３】QuickStart ０）前提条件 １）作業ディレクトリを作成する ２）テスト用DB環境を準備…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/05/235755 https://dk521123.hatenablog.com/entry/2023/05/09/235256 https://dk521123.hatenablog.com/entry/2023/03/01/235100 の続き。 Apache Flink の Hello world をやってみる。 目次 【…

■ はじめに AWS MSK（Amazon Managed Streaming for Apache Kafka） を使ったシステムのパフォーマンステストを行っているが てんでダメダメだった。 そこで、Kafkaに関するパフォーマンスに関わるプロパティなどを 調べてみたので、徐々にメモ。 （物凄い種…

■ はじめに Kubernetes の Dashboard について、メモ。 目次 【１】Kubernetes Dashboard １）例 【２】Dashboard のインストール 【３】Dashboard へのアクセス 【４】Dashboard あれこれ １）セッションタイムアウト時間を延ばすには ２）ログを見る 【１…

■ はじめに 今回は、Terraform で AWS Key Management Service (KMS) を作る なお、KMSの復習は、以下の関連記事を参照のこと KMS ～ 入門編 ～ https://dk521123.hatenablog.com/entry/2020/02/27/232553 目次 【１】公式ドキュメント １）Resource: aws_km…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 から分冊。 今回は、AWS MSK Connect をTerraform で作成する MSK = Managed Streaming for apache Kafka Amazon MSK ～ 入門編 ～ https://dk521123.hatenablog.com/entry/2023/04/21/…

■ はじめに https://dk521123.hatenablog.com/entry/2022/01/12/110555 で、kubectl configコマンドをやった。 が、トラブルシュートなどでも使えそうだし、 かなりボリューミーなので、こちらでまとめる。 目次 【１】kubeconfigファイル １）ファイル構成 …

■ はじめに Amazon Elastic Container Registry (ECR) を、Terraform で作る。 なお、ECRについては、以下の関連記事を参照のこと。 Amazon ECR ～ 入門編 ～ https://dk521123.hatenablog.com/entry/2020/05/22/165711 Amazon ECR ～ 基本編 ～ https://dk5…

■ はじめに テンプレートをちょうど勉強してた際に、以下のサイト https://tech.revcomm.co.jp/terraform-troubleshooting って記事に「既存のコードが非推奨になっている」ってあって その中で「 Template provider は、すでに非推奨」っとあったので その…

■ はじめに 休み明けに、Terraform で EC2 を立ち上げそうなので 予習をしておく 目次 【１】公式ドキュメント １）AMI 【２】サンプル 例１：Systems Manager（Session Manager）経由でアクセス 例２：SSH経由でアクセス 【３】EC2あれこれ １）シェルを実…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/21/000000 の続き。 https://dk521123.hatenablog.com/entry/2023/05/14/122215 で、AWS環境に Amazon MSK（Managed Streaming for apache Kafka）の Cluster および Connector を構築することが…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/03/000000 より分冊。 Terraform の Module について扱う。 目次 【１】モジュール - module 【２】モジュール化の一例 【３】モジュール種類 １）ローカルモジュール ２）リモートモジュール 【…

■ はじめに 今回は、パスワードなどの機密情報を Terraform でどう扱うかを考えて ここにちょこちょこまとめていく。 できれば、実践したい。 目次 【０】今回学べたこと 【１】機密情報の扱いを考える 案１：tfvars ファイルで変数で切り出す 案１の例 案２…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 のトラブルシュートのために、 AWS CloudWatchで出力することを学んだので、メモ。 目次 【１】公式ドキュメント １）Resource: aws_cloudwatch_log_group 【２】使い方 【３】サンプル…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 などで使ったKafkaのコマンドについて、徐々にまとめていく 目次 【０】コマンド一覧 【１】Topic １）Topic作成 ２）Topic一覧表示 ３）Topic詳細情報表示 【２】Producer １）TOPIC …

■ はじめに Terraform に関する Tips を徐々にだけど ここに書き溜めていく 目次 【１】デバッグログレベルを切り替えるには 【２】タイムアウト時間を変更するには 【３】依存関係を指定するには １） resourceセクションから別リソースを参照 ２） depends…

■ はじめに 休み明け、どうせ時間がない見込み。。。 ただ、休み明けで、空いた時間を利用して AWS MSK Cluster & MSK Connector を構築したい。 なので、Terraformで構築できる準備をしておく。 MSK = Managed Streaming for apache Kafka Amazon MSK ～ 入…

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/10/11/134840 の続き。 今回は、久しぶりに、Apache Airflow で、 Kubernetes で環境構築していく。 目次 【０】今回学べること 【１】前…

■ はじめに datadog を将来的に扱いそうなので Terraform で構築できるように予習。 目次 【１】datadog 【２】公式ドキュメント 【３】AWSへの導入準備 １）IAM 【４】自サービスへの適用 １）モニター作成 【１】datadog * サーバ監視や分析などを行うモニ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/09/235256 で、「Helm（ヘルム）」についてでてきたので、 ちゃんと理解したので、ちゃんとここでまとめる。 目次 【１】Helm １）何ができる？ 【２】Helmのインストール 補足：他の環境でのイン…

■ はじめに https://dk521123.hatenablog.com/entry/2023/02/23/000000 の続き。 Amazon EKS (Elastic Kubernetes Service) をハンズオンしていく。 今回、やってて副産物として「AWS CloudShell」ってのを 知れたのがよかった。 目次 【１】Kubernetes（EKS…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/05/235755 で、Windowsのローカル上に、Apache Flink の環境構築したのだが Kubernetes (Amazon EKS) で構築することになったので 予習として、自分のローカル上に構築してみる。 目次 【１】Kube…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/21/000000 の際に、Apache Kafka を AWS 上で環境構築する際に 「Amazon EKS（KubernetesのマネージドAWSサービス）」をあげたが Kubernetes上でApache Kafka を構築するのに「Strimzi」ってのが …

■ はじめに Strimzi ってOSSをローカル環境に入れたいのだが、 その際には、minikube が必要だった。 https://dk521123.hatenablog.com/entry/2020/05/01/000000 で、以前、Windowsでやってたのだが、もうその環境もなく 改めて、書いてみる。 （公式サイト…

■ はじめに 通常、複数環境（dev/stage/prod）へ Terraform を使って デプロイすることを考える 目次 案１：terraform init時にbackend-configオプションを使う １）コマンド例 案２：Workspaceを使う １）そもそも「Workspace」とは？ ２）コマンド例：Work…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/20/172823 において、 エラー「AlreadyExistsException: Workflow with name 'xxx-xxxx' already Exists」 について、ひとまずの回避案を提示したが、ちゃんとした解決案が分かった。 その解決案…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/22/234808 の続き。 今回は、Rust 特有の考え方の「所有権 (ownership)」について 纏めてみた。 目次 【０】プログラムのメモリ管理方法 １）明示的にメモリ確保・解放する ２）ガベージコレクシ…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/09/222057 https://dk521123.hatenablog.com/entry/2023/04/05/000224 の続き。 今回は、Terraform コードの基本的な文法について扱う。 目次 【１】環境リソース １）リソース - resource ２）デ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/29/185133 の続き。 今回は、Kafka connect + PostgreSQLで試してみる。 目次 【１】今回やること 【２】実行前の下準備 １）JDBCプラグイン設定 ２）zookeeper起動 ３）Kafka broker起動 ４）ト…