2022-06-01から1ヶ月間の記事一覧

【トラブル】【AWS】クロスアカウントでのS3アクセスに関するトラブル

■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【0】教訓:S3バケットのアクセストラブルの勘所 【1】エラー「An error occured (403) when calling the HeadObject operation: Forbid…

【Snowflake】Snowflake ~ ストレージ統合 ~

■ はじめに Snowflakeのストレージ統合(Storage Integration)について 予習をする 目次 【1】ストレージ統合(Storage Integration) 【2】利点 【3】基本操作 1)ストレージ統合作成 - CREATE STORAGE INTEGRATION - 2)ストレージ統合確認 - DESC I…

【Pulumi】pulumiで対象リソースのみデプロイ / 削除(--target)

■ はじめ 小ネタ。 よく使うし、今後も使いそうなので、メモ。 目次 【1】対象リソースのみデプロイ 【2】対象リソースのみ削除 【3】複数指定したい場合 【4】使用上の注意 1)URNを引用符「'」で囲った方がいい 2)親子関係があるリソースは親リソー…

【Github】Github Actions ~ Python関連 ~

■ はじめに * Pythonにまつわる以下の事項について扱う [1] egg / wheel ファイルをGithub Actionsを使って作成する その際に学べたことメモする。 [2] Python の Linter について実装する なお、Pythonを実行させる場合は、以下の関連記事を参照のこと Gith…

【Snowflake】Snowflake ~ テストデータ作成 / generator ~

■ はじめに Snowflake の generator() ってメソッドで、 テストデータを簡単に作れるって聞いたので調べてみた。 調べてみて generator() だけでなく、 他のメソッドと組み合わせる必要があるので、それらもまとめてみる。 Snowflakeに関して、調べてみたも…

【Snowflake】Snowflake ~ 日時関連 ~

■ はじめに Snowflake の 日時(日付、時刻含む)について 少しづつだが、まとめておく。 目次 【1】日時(日付、時刻含む)のデータ型 【2】現在日時を返す関数 【3】日時(日付、時刻含む)の変換 1)キャスト 2)DATE_FROM_PARTS関数 【4】日時の計…

【Github】Github Actions ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 の続き。 今回は、ハンズオン的なことをやってみる。 目次 【1】Github Actions の書き方 1)イメージ 【2】Hello world 1)手順 2)動作確認 【3】actions/checkout@vX について…

【Azure】PythonでAzure環境にファイルアップロードする

■ はじめに Azure にファイル転送することになったので、メモ。 また、そもそも Azure (アジュール) が全く分からないので、 そういったことも簡単だが調べてみた。 目次 【1】Azure の ストレージサービス 1)Azure Blob Storage 2)Azure Data Lake Sto…

【AWS】Secrets Manager ~ AWS CLI 編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 https://dk521123.hatenablog.com/entry/2021/10/05/105550 の続き。 AWS Secrets Manager でのシークレットの作成を AWS CLIで行う必要ができたので、メモ。 ついでに過去の記事も整理…

【AWS】AWS Service Catalog ~ 基礎知識編 ~

AWS

■ はじめに AWS Service Catalog について 業務で触れたのでメモ。 目次 【1】AWS Service Catalog 1)利点 【2】用語整理 1)Product (製品) 2)Portfolio(ポートフォリオ) 3)制約 4)Provisioned product (プロビジョニングされた製品) 【3】設…

シングルサインオン ~ SAML認証方式 ~

■ はじめに 業務でシングルサインオン(Single Sign-On; SSO)のSAML認証について 扱ったので、メモしておく。 目次 【1】シングルサインオン(SSO) 1)認証方式 【2】SAML (Security Assertion Markup Language) 【3】SAML認証方式の構成要素 1)SP(…

【SQL】複合キーの重複データを取得することを考える

■ はじめに Snowflakeのデータ取り込みで、 重複データの調査を依頼されたのでメモ。 目次 【0】お題 補足:単純にそのデータがユニークどうか調べる場合 【1】関連するSQL 1)GROUP BY 2)HAVING 3)自己相関サブクエリ 4)DISTINCT 【2】サンプル …

【AWS】AWS Service Catalog ~ AWS CLI ~

AWS

■ はじめに 今回は、AWS Service Catalog の AWS CLI について扱う 目次 【0】Service Catalog の AWS CLI 1)使用上の注意 【1】aws servicecatalog provision-product 【2】aws servicecatalog describe-record 【0】Service Catalog の AWS CLI * 以…

【AWS】【トラブル】エラー「Invalid length for parameter SAMLMetadataDocument」が発生

■ はじめに AWS CLI実行で少しハマったのでメモ。 【1】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…