■ はじめに Apache Kafka ～ 環境構築 / Windows編 ～ https://dk521123.hatenablog.com/entry/2023/04/23/235534 のLinux版。 目次 【１】構築手順 - 通常版 ０）前提条件 １）Kafka のインストール 【２】モジュール起動 １）zookeeper起動 ２）Kafka brok…

■ はじめに Github Actions で、以下の関連記事で行ったような https://dk521123.hatenablog.com/entry/2024/01/22/210831 https://dk521123.hatenablog.com/entry/2024/01/05/000000 Github Actions で脆弱性診断の結果をCSVファイル化して、、、 とかやる…

■ はじめに 完全に個人的なメモ。 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、発生した脆弱性エラーを調査している。 調査の一環として、 AWS EMR リポジトリの Docker イメージをローカル上に Pull し Inspector2の「Affected Package (…

■ はじめに Github Actions や CloudFormation などの インフラ系のサービスを扱う際に、Bashをよく使用しているが Shebang (シェバン)のところとかあいまいなことがあるので これを機にちゃんと調べてみた 目次 【１】Shebang 【２】効能 【３】構文 【４】…

■ はじめに Squidのログについて徐々に書き溜めていく 目次 【１】squid の ログ １）/var/log/squid/access.log ２）/var/log/squid/cache.log ３）/var/log/squid/store.log ４）/var/log/squid/squid.out 【２】Tips １）デバッグ方法 ２）アクセスログの…

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/05/000000 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、Amazon ECR の Dockerイメージのスキャンについて触れたが、 エラーを解消できても、時間が経つと別のエラーが検知され…

■ はじめに Github Actions ～ GITHUB_ENV ～ https://dk521123.hatenablog.com/entry/2023/12/29/000840 で、各Stepで値を受け渡す「$GITHUB_ENV」を取り上げたが 今回は、Job間の値の受け渡しに使う「$GITHUB_OUTPUT」について扱う 目次 【１】GITHUB_OUTP…

■ はじめに 小ネタ。 tailコマンドについて扱う 【１】tailコマンド * ファイルの最終行から数行を表示するコマンド * 標準では10行を表示 【２】-fオプション * ログファイルなどのリアルタイム監視 * --follow １）使用例 例１：/var/log/cron https://dk5…

■ はじめに 今回は、Github Actions の ワークフロー実行 の行う・行わないを制御するために必要な扱う。 目次 【１】needs １）needs.<job_id>.result ２）needs.<job_id>.outputs.<output name> 【２】if 【３】on １）push ２）workflow_run / workflow_call ３）workflow_dispatch ４</output></job_id></job_id>…

■ はじめに TOMLファイルを読み込み そのデータ内を使うツールが必要になりそうなので PythonでTOMLをどう扱うかを調べてみた なお、TOMLについては、以下の関連記事を参照のこと TOML https://dk521123.hatenablog.com/entry/2023/04/25/103533 目次 【１】…

■ はじめに AWS CodeArtifact の環境を軽くTerraformで作ったので そこで得たことをメモっておく 目次 【１】API １）aws_codeartifact_repository 【２】使用上の注意 １）external_connections は1つしか指定できない 【３】サンプル 例１：既存のdomainを…

■ はじめに 今回は、独自のJARなどを AWS CodeArtifact のリポジトリにあげる方法について 記録しておく 目次 【１】JARをリポジトリにあげるには 【２】前提条件 １）IAMロール 【３】手順 Step1: CodeArtifact 認証トークンを取得 Step2: JAR を CodeArtif…

■ はじめに 小ネタ。 CI/CD の処理の一環で、 テキストファイルにバージョンが指定されていて そのファイルを読み込んで、カウントアップした値を 処理で使いたいなっと思った時に、 IFS がでてきたので メモっておく 目次 【１】環境変数 IFS 【２】readコ…

■ はじめに EC2 Image builder について、少しづつだがメモっていく 目次 【１】EC2 Image builder 【２】用語整理 ０）AMI (Amazon Machin Image) １）コンポーネント (Components) ２）イメージレシピ (Image Recipes) ３）イメージパイプライン (Image Pi…

■ はじめに Amazon ECR は、簡単に 脆弱性診断サービス Amazon Inspector が 使えるので、そのことについて、メモっておく 目次 【１】Amazon Inspector １）AWS ECR との連携 【２】脆弱性診断の On/Off １）Terraform の場合 【３】スキャン開始タイミング…

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/02/024631 で、AWS ECRへの登録した。 近々、また、AWS ECRにDockerイメージを登録しそうなので 今回は、Docker Hub へ独自のDockerイメージ登録することを通して、 復習をしていきたい。 目次 【…

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 https://dk521123.hatenablog.com/entry/2024/01/11/233802 https://dk521123.hatenablog.com/entry/2024/01/14/005148 の続き。 AWS CodeArtifact の公式ドキュメントでは、 MavenやGr…

■ はじめに 今回は、Github Actionsで、可読性を上げるために、 共通処理を外部シェルスクリプトとして切り出して、 Github Actionsから呼び出して使う。 小ネタではあるが、色々と学ぶものがあったので、メモ。 目次 【１】Github Actions処理 １）フォルダ…

■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション（'）ではなく ダブルクォーテーション（"）で囲んだ方が トラブル少なく済みそう 【１】現象 MWAA で Secret…

■ はじめに Terraform の設定時に、asdf ってのを知ったので、 調べてみた 目次 【１】asdf 【２】使いどころ 【３】環境設定 １）設定環境 ２）設定手順 【４】使い方 例１：Terraform 例２：Python 【５】トラブル １）Pythonインストール時のトラブル 【…

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/03/000000 の続き。 Terraform の Data Sources（データソース） について扱う。 目次 【１】データリソース - data 【２】利用例 【３】サンプル 例１：AWS S3 例２：AWS Region 【４】filter １…

■ はじめに Amazon Linux 2の Extras Library(amazon-linux-extras) について 今後の作業にも関係しそうなので、まとめておく 目次 【１】Extras Library(amazon-linux-extras) 【２】用語整理 １）トピック 【３】使用上の注意 １）サポート範囲は、 Amazon…

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 https://dk521123.hatenablog.com/entry/2024/01/11/233802 の続き。 今回は、CI/CD で Github Actions から、 AWS CodeArtifact にアクセスするために必要そうな AWS CLI を調べたので…

■ はじめに EC2 上でSDKMANを使って、SBTをインストールしたのだが ログオフ後に使えなくなっていた。 SDKMAN以外の方法がないかを模索している。 そこで、今回は、 SBT (Simple Build Tool) の構築手順が色々あるので、 整理しておく。 目次 【０】インスト…

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 https://dk521123.hatenablog.com/entry/2024/01/11/233802 で、AWS CodeArtifact を使って、クローズされた Mavenのリポジトリ (と pip(PyPI; The Python Package Index))を考えている…

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 の続き。 今回は、AWS CodeArtifact を構築するのを調べてみた 目次 【１】作成手順 Step1: Create repository Step2: Select domain Step3: Review and create 【１】作成手順 * 作成…

■ はじめに Github Actionsで「Waiting for a runner to pick up this job...」から 進まない状態に陥った。 今回の場合、self-hosted runners(独自サーバ)で対象リポジトリに 設定がされていなかったことが原因だったが、その教訓をメモっておく。 （別リポ…

■ はじめに VIM/NeoVIMに関するプラグインについて、まとめてみた 目次 【１】プラグインマネージャ １）vim-plug 【２】様々なプラグイン 【１】プラグインマネージャ * VIMにプラグインを入れるには、 プラグインマネージャをインストールする必要がある …

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/13/020744 の続き。 今回は、tmux の操作と設定変更などを書いていく 目次 【１】操作コマンド １）基本操作 ２）ペイン操作 ３）ウィンドウ操作 【２】設定変更 【１】操作コマンド １）基本操作…

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/14/005148 からの分冊。 AWS CLI には、--query ってのがあって、 ~~~~ --query (string) A JMESPath query to use in filtering the response data. ~~~~ ってなっていたので、「JMESPath」って…