2024-02-01から1ヶ月間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2021/12/01/170326 で扱った Parameters について、業務でノウハウが溜まってきたので ここらでまとめてみる 目次 【１】Parameters 【２】使用上の注意 【３】Parameters を設定する １）基本系 ２）値を…
■ はじめに SQL の Linter (リンター) について 使用したいって旨を頂いたので、調べてみたら 「SQLFluff」ってのがでてきたので、メモっておく 今回のこととは、まったく関係ないが、業務で以下のサイト教えてもらった。 キャリア形成や面接などで使えそう…
■ はじめに CloudFormation の変数に関する扱いで、 結構ハマったので、メモしておく これ以外のトラブルについては、以下の関連記事を参照のこと。 CloudFormation でのトラブル https://dk521123.hatenablog.com/entry/2022/05/30/191507 【１】現象概要 C…
■ はじめに 小ネタ。 今回は、Github Actions に関する環境変数について、とりあげる。 目次 【１】Github Actions に関する環境変数 １）AGENT_TOOLSDIRECTORY ２）RUNNER_ALLOW_RUNASROOT 【２】Github Actions に関する環境変数の永続化 【１】Github Act…
■ はじめに めちゃくちゃいまさらながら、 lnコマンド / update-alternativesコマンドについてメモ。 ついでに、あいまいだった Linux のハードリンク（hard link）と シンボリックリンク（Symbolic link） について学んでおく。 目次 【１】lnコマンド １）…
■ はじめに AWS CloudFormation について担当することになりそうで 後輩にGUIよりAWS CLIの方が作業しやすいですよって 教えてくれたので、メモ。感謝、、、 目次 【１】AWS CLI １）aws cloudformation create-stack ２）aws cloudformation deploy ３）aws…
■ はじめに 業務で、「.env」を扱うのができてきた。 このファイルを、Pythonで扱うには、 python-dotenv ってライブラリを使うので、 .envファイル（dotenv）を含めて調べてみた 目次 【１】.envファイル（dotenv） 【２】python-dotenv の インストール 【…
■ はじめに Github workflow の実装で、成功・失敗に関わらず、 通知機能を持たせようと考えていて、 Amazon SNS（Simple Notification Service）のAWS CLI で 実装してみたのだが、メッセージの改行で 意外にハマったのでメモっておく なお、Amazon SNSに関…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2024/02/19/152927 の作業時に、Snowflake の IDENTIFIER を習ったのでメモ。 ついでに、SET に関してもメモっておく。 （小ネタだったが、書いていく内に思った以上に書く量が多くなってしまっ…
■ はじめに 業務で、Snowflake の Data Sharing (データ共有）について 扱う機会がでたので、ちょこっと調べてみた。 目次 【１】Snowflake Data Sharing 【２】主な操作 １）CREATE SHARE ２）SHOW SHARES 【３】共有方法 １）共有へのデータベースロールの…
■ はじめに Github Actions で、例えば、 https://dk521123.hatenablog.com/entry/2020/04/16/113816 でやったように、 Dev/Stage/Prodなどで設定値が変更する必要があるので どう実装していくかを考える 目次 案１：workflow_dispatch + inputs で切り替え…
■ はじめに Github Actions を調べている時に、 https://dk521123.hatenablog.com/entry/2024/01/28/004128 において、workflow_dispatchで手動実行しようとした際に デフォルトブランチではないと、Githubの画面上に実行ボタンが出てこない という問題があ…
■ はじめに めちゃくちゃいまさらながら Linuxの代表的なディレクトリに関して メモっておく 【１】代表的なディレクトリ ディレクトリ 説明 /bin 基本コマンドが格納 /etc コマンドやアプリケーションの設定ファイルが配置 /usr 共有できて読み込み可能なフ…
■ はじめに 実作業において、Github Actionsで ファイル分割して実行したいケースが出てきそうになっている。 そこで、今回は、onイベント の workflow_run / workflow_call について 掘り下げる。 目次 【０】workflow_run / workflow_call との違い 【１】…
■ はじめに Github Actions の アーティファクト (Artifact) についてまとめる 目次 【１】Artifact １）Artifactに関する例 【２】Artifact に関するアクション １）actions/upload-artifact アクション ２）actions/download-artifact アクション 【３】サ…
■ はじめに 業務で、AWS CloudFormation (CFn) を使って EC2を立ち上げそうなので、予習しておく 目次 【１】CloudFormation による EC2 【２】API 【３】ソフトウェアをインストールするには １）cfn-init ヘルパースクリプト ２）AWS CloudFormation のベ…
■ はじめに AWS CloudFormation (CFn) について 業務で触る可能性が出てきたので、知識を整理・復習する 目次 【１】CloudFormation １）動画 ２）料金 【２】CloudFormation の流れ １）スタック (Stacks) ２）テンプレート（Template） 【３】関連用語 １…
■ はじめに Github Actions において、 例えば、別処理結果を待つのにシェルで無限ループする箇所があるのだが これはこれでちょっと怖いので、Timeoutについて調べてみた 目次 【１】Github ActionsでTimeoutを設定するには 【２】利点 【３】timeout-minut…
■ はじめに Proxy環境下でdocker pullしたらエラーでハマったのでメモ。 目次 【１】現象 【２】エラー内容 【３】原因 【４】解決案 【１】現象 Amazon EC2において、Proxy経由で docker イメージを pull/buildなどを使用としている。 そこで、以下の関連記…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/18/204119 の続き。 Github Actions の Self-hosted runners に関するTipsをまとめておく 目次 【１】サービスとして設定するには １）設定手順例 ２）アンインストールする ３）ユーザを指定して…
■ はじめに Proxyサーバの Squid の Whitelist (ホワイトリスト) について 触ったので、メモに残しておく。 ついでに、Blacklist（ブラックリスト）についても言及する。 目次 【１】ProxyサーバにおけるWhitelist 【２】設定手順 １）設定ファイル「squid.c…
■ はじめに Apache Kafka ～ 環境構築 / Windows編 ～ https://dk521123.hatenablog.com/entry/2023/04/23/235534 のLinux版。 目次 【１】構築手順 - 通常版 ０）前提条件 １）Kafka のインストール 【２】モジュール起動 １）zookeeper起動 ２）Kafka brok…
■ はじめに Github Actions で、以下の関連記事で行ったような https://dk521123.hatenablog.com/entry/2024/01/22/210831 https://dk521123.hatenablog.com/entry/2024/01/05/000000 Github Actions で脆弱性診断の結果をCSVファイル化して、、、 とかやる…
■ はじめに 完全に個人的なメモ。 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、発生した脆弱性エラーを調査している。 調査の一環として、 AWS EMR リポジトリの Docker イメージをローカル上に Pull し Inspector2の「Affected Package (…
■ はじめに Github Actions や CloudFormation などの インフラ系のサービスを扱う際に、Bashをよく使用しているが Shebang (シェバン)のところとかあいまいなことがあるので これを機にちゃんと調べてみた 目次 【１】Shebang 【２】効能 【３】構文 【４】…
■ はじめに Squidのログについて徐々に書き溜めていく 目次 【１】squid の ログ １）/var/log/squid/access.log ２）/var/log/squid/cache.log ３）/var/log/squid/store.log ４）/var/log/squid/squid.out 【２】Tips １）デバッグ方法 ２）アクセスログの…
