2024-01-01から1年間の記事一覧
■ はじめに 実作業において、Github Actionsで ファイル分割して実行したいケースが出てきそうになっている。 そこで、今回は、onイベント の workflow_run / workflow_call について 掘り下げる。 目次 【０】workflow_run / workflow_call との違い 【１】…
■ はじめに Github Actions の アーティファクト (Artifact) についてまとめる 目次 【１】Artifact １）Artifactに関する例 【２】Artifact に関するアクション １）actions/upload-artifact アクション ２）actions/download-artifact アクション 【３】サ…
■ はじめに 業務で、AWS CloudFormation (CFn) を使って EC2を立ち上げそうなので、予習しておく 目次 【１】CloudFormation による EC2 【２】API 【３】ソフトウェアをインストールするには １）cfn-init ヘルパースクリプト ２）AWS CloudFormation のベ…
■ はじめに AWS CloudFormation (CFn) について 業務で触る可能性が出てきたので、知識を整理・復習する 目次 【１】CloudFormation １）動画 ２）料金 【２】CloudFormation の流れ １）スタック (Stacks) ２）テンプレート（Template） 【３】関連用語 １…
■ はじめに Github Actions において、 例えば、別処理結果を待つのにシェルで無限ループする箇所があるのだが これはこれでちょっと怖いので、Timeoutについて調べてみた 目次 【１】Github ActionsでTimeoutを設定するには 【２】利点 【３】timeout-minut…
■ はじめに Proxy環境下でdocker pullしたらエラーでハマったのでメモ。 目次 【１】現象 【２】エラー内容 【３】原因 【４】解決案 【１】現象 Amazon EC2において、Proxy経由で docker イメージを pull/buildなどを使用としている。 そこで、以下の関連記…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/18/204119 の続き。 Github Actions の Self-hosted runners に関するTipsをまとめておく 目次 【１】サービスとして設定するには １）設定手順例 ２）アンインストールする ３）ユーザを指定して…
■ はじめに Proxyサーバの Squid の Whitelist (ホワイトリスト) について 触ったので、メモに残しておく。 ついでに、Blacklist（ブラックリスト）についても言及する。 目次 【１】ProxyサーバにおけるWhitelist 【２】設定手順 １）設定ファイル「squid.c…
■ はじめに Apache Kafka ～ 環境構築 / Windows編 ～ https://dk521123.hatenablog.com/entry/2023/04/23/235534 のLinux版。 目次 【１】構築手順 - 通常版 ０）前提条件 １）Kafka のインストール 【２】モジュール起動 １）zookeeper起動 ２）Kafka brok…
■ はじめに Github Actions で、以下の関連記事で行ったような https://dk521123.hatenablog.com/entry/2024/01/22/210831 https://dk521123.hatenablog.com/entry/2024/01/05/000000 Github Actions で脆弱性診断の結果をCSVファイル化して、、、 とかやる…
■ はじめに 完全に個人的なメモ。 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、発生した脆弱性エラーを調査している。 調査の一環として、 AWS EMR リポジトリの Docker イメージをローカル上に Pull し Inspector2の「Affected Package (…
■ はじめに Github Actions や CloudFormation などの インフラ系のサービスを扱う際に、Bashをよく使用しているが Shebang (シェバン)のところとかあいまいなことがあるので これを機にちゃんと調べてみた 目次 【１】Shebang 【２】効能 【３】構文 【４】…
■ はじめに Squidのログについて徐々に書き溜めていく 目次 【１】squid の ログ １）/var/log/squid/access.log ２）/var/log/squid/cache.log ３）/var/log/squid/store.log ４）/var/log/squid/squid.out 【２】Tips １）デバッグ方法 ２）アクセスログの…
■ はじめに https://dk521123.hatenablog.com/entry/2024/01/05/000000 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、Amazon ECR の Dockerイメージのスキャンについて触れたが、 エラーを解消できても、時間が経つと別のエラーが検知され…
■ はじめに Github Actions ～ GITHUB_ENV ～ https://dk521123.hatenablog.com/entry/2023/12/29/000840 で、各Stepで値を受け渡す「$GITHUB_ENV」を取り上げたが 今回は、Job間の値の受け渡しに使う「$GITHUB_OUTPUT」について扱う 目次 【１】GITHUB_OUTP…
■ はじめに 小ネタ。 tailコマンドについて扱う 【１】tailコマンド * ファイルの最終行から数行を表示するコマンド * 標準では10行を表示 【２】-fオプション * ログファイルなどのリアルタイム監視 * --follow １）使用例 例１：/var/log/cron https://dk5…
■ はじめに 今回は、Github Actions の ワークフロー実行 の行う・行わないを制御するために必要な扱う。 目次 【１】needs １）needs.<job_id>.result ２）needs.<job_id>.outputs.<output name> 【２】if 【３】on １）push ２）workflow_run / workflow_call ３）workflow_dispatch ４</output></job_id></job_id>…
■ はじめに TOMLファイルを読み込み そのデータ内を使うツールが必要になりそうなので PythonでTOMLをどう扱うかを調べてみた なお、TOMLについては、以下の関連記事を参照のこと TOML https://dk521123.hatenablog.com/entry/2023/04/25/103533 目次 【１】…
■ はじめに AWS CodeArtifact の環境を軽くTerraformで作ったので そこで得たことをメモっておく 目次 【１】API １）aws_codeartifact_repository 【２】使用上の注意 １）external_connections は1つしか指定できない 【３】サンプル 例１：既存のdomainを…
■ はじめに 今回は、独自のJARなどを AWS CodeArtifact のリポジトリにあげる方法について 記録しておく 目次 【１】JARをリポジトリにあげるには 【２】前提条件 １）IAMロール 【３】手順 Step1: CodeArtifact 認証トークンを取得 Step2: JAR を CodeArtif…
■ はじめに 小ネタ。 CI/CD の処理の一環で、 テキストファイルにバージョンが指定されていて そのファイルを読み込んで、カウントアップした値を 処理で使いたいなっと思った時に、 IFS がでてきたので メモっておく 目次 【１】環境変数 IFS 【２】readコ…
■ はじめに EC2 Image builder について、少しづつだがメモっていく 目次 【１】EC2 Image builder 【２】用語整理 ０）AMI (Amazon Machin Image) １）コンポーネント (Components) ２）イメージレシピ (Image Recipes) ３）イメージパイプライン (Image Pi…
■ はじめに Amazon ECR は、簡単に 脆弱性診断サービス Amazon Inspector が 使えるので、そのことについて、メモっておく 目次 【１】Amazon Inspector １）AWS ECR との連携 【２】脆弱性診断の On/Off １）Terraform の場合 【３】スキャン開始タイミング…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/02/024631 で、AWS ECRへの登録した。 近々、また、AWS ECRにDockerイメージを登録しそうなので 今回は、Docker Hub へ独自のDockerイメージ登録することを通して、 復習をしていきたい。 目次 【…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 https://dk521123.hatenablog.com/entry/2024/01/11/233802 https://dk521123.hatenablog.com/entry/2024/01/14/005148 の続き。 AWS CodeArtifact の公式ドキュメントでは、 MavenやGr…
■ はじめに 今回は、Github Actionsで、可読性を上げるために、 共通処理を外部シェルスクリプトとして切り出して、 Github Actionsから呼び出して使う。 小ネタではあるが、色々と学ぶものがあったので、メモ。 目次 【１】Github Actions処理 １）フォルダ…
■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション（'）ではなく ダブルクォーテーション（"）で囲んだ方が トラブル少なく済みそう 【１】現象 MWAA で Secret…
■ はじめに Terraform の設定時に、asdf ってのを知ったので、 調べてみた 目次 【１】asdf 【２】使いどころ 【３】環境設定 １）設定環境 ２）設定手順 【４】使い方 例１：Terraform 例２：Python 【５】トラブル １）Pythonインストール時のトラブル 【…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/03/000000 の続き。 Terraform の Data Sources（データソース） について扱う。 目次 【１】データリソース - data 【２】利用例 【３】サンプル 例１：AWS S3 例２：AWS Region 【４】filter １…
■ はじめに Amazon Linux 2の Extras Library(amazon-linux-extras) について 今後の作業にも関係しそうなので、まとめておく 目次 【１】Extras Library(amazon-linux-extras) 【２】用語整理 １）トピック 【３】使用上の注意 １）サポート範囲は、 Amazon…
