2022-01-01から1年間の記事一覧
■ はじめに Linux のパーミッション周りをメモ。 目次 【１】パーミッションの確認 １）アクセス権限の見方 【２】アクセス権の変更 １）コマンド例 【３】パーミッション例 １）777 ２）755 ３）764 ４）666 ５）644 【４】ファイル/ディレクトリの所有者を…
■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【０】教訓：S3バケットのアクセストラブルの勘所 【１】エラー「An error occured (403) when calling the HeadObject operation: Forbid…
■ はじめに Snowflakeのストレージ統合（Storage Integration）について 予習をする 目次 【１】ストレージ統合（Storage Integration） 【２】利点 【３】基本操作 １）ストレージ統合作成 - CREATE STORAGE INTEGRATION - ２）ストレージ統合確認 - DESC I…
■ はじめ 小ネタ。 よく使うし、今後も使いそうなので、メモ。 目次 【１】対象リソースのみデプロイ 【２】対象リソースのみ削除 【３】複数指定したい場合 【４】使用上の注意 １）URNを引用符「'」で囲った方がいい ２）親子関係があるリソースは親リソー…
■ はじめに * Pythonにまつわる以下の事項について扱う [1] egg / wheel ファイルをGithub Actionsを使って作成する その際に学べたことメモする。 [2] Python の Linter について実装する なお、Pythonを実行させる場合は、以下の関連記事を参照のこと Gith…
■ はじめに Snowflake の generator() ってメソッドで、 テストデータを簡単に作れるって聞いたので調べてみた。 調べてみて generator() だけでなく、 他のメソッドと組み合わせる必要があるので、それらもまとめてみる。 Snowflakeに関して、調べてみたも…
■ はじめに Snowflake の 日時（日付、時刻含む）について 少しづつだが、まとめておく。 目次 【１】日時（日付、時刻含む）のデータ型 【２】現在日時を返す関数 【３】日時（日付、時刻含む）の変換 １）キャスト ２）DATE_FROM_PARTS関数 【４】日時の計…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/04/142835 の続き。 今回は、ハンズオン的なことをやってみる。 目次 【１】Github Actions の書き方 １）イメージ 【２】Hello world １）手順 ２）動作確認 【３】actions/checkout@vX について…
■ はじめに Azure にファイル転送することになったので、メモ。 また、そもそも Azure (アジュール) が全く分からないので、 そういったことも簡単だが調べてみた。 目次 【１】Azure の ストレージサービス １）Azure Blob Storage ２）Azure Data Lake Sto…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 https://dk521123.hatenablog.com/entry/2021/10/05/105550 の続き。 AWS Secrets Manager でのシークレットの作成を AWS CLIで行う必要ができたので、メモ。 ついでに過去の記事も整理…
■ はじめに AWS Service Catalog について 業務で触れたのでメモ。 目次 【１】AWS Service Catalog １）利点 【２】用語整理 １）Product (製品) ２）Portfolio（ポートフォリオ） ３）制約 ４）Provisioned product (プロビジョニングされた製品) 【３】設…
■ はじめに 業務でシングルサインオン（Single Sign-On; SSO）のSAML認証について 扱ったので、メモしておく。 目次 【１】シングルサインオン（SSO） １）認証方式 【２】SAML (Security Assertion Markup Language) 【３】SAML認証方式の構成要素 １）SP（…
■ はじめに Snowflakeのデータ取り込みで、 重複データの調査を依頼されたのでメモ。 目次 【０】お題 補足：単純にそのデータがユニークどうか調べる場合 【１】関連するSQL １）GROUP BY ２）HAVING ３）自己相関サブクエリ ４）DISTINCT 【２】サンプル …
■ はじめに 今回は、AWS Service Catalog の AWS CLI について扱う 目次 【０】Service Catalog の AWS CLI １）使用上の注意 【１】aws servicecatalog provision-product 【２】aws servicecatalog describe-record 【０】Service Catalog の AWS CLI * 以…
■ はじめに AWS CLI実行で少しハマったのでメモ。 【１】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 などで、CloudFormation を使った際に 発生したトラブルについて、メモしておく 今回の以外のCloudFormationに関するトラブルについては 以下の関連記事を参照のこと。 CloudFormation…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 https://dk521123.hatenablog.com/entry/2022/05/26/112627 の続き。 今回は、CloudFormation で IAM を作ってみる。 目次 【１】IAM Role １）RoleName ２）AssumeRolePolicyDocument …
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 の続き。 今回は、CloudFormation で KMS（AWS Key Management Service） を作ってみる。 なお、AWS KMS については、以下の関連記事を参照のこと。 https://dk521123.hatenablog.com/e…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 仕事で、CloudFormation を触ることになった。 今回は、S3バケットについて、ちょくちょくまとめていく。 目次 【…
■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 今回は、クロスアカウント周辺の知識 について ちょこちょこ、まとめる。 目次 【１】クロスアカウント 【２】STS (Security Token Service) １）sts:AssumeRole ２）AWS CLI…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 CloudFormation のテンプレート作成は テキストエディタ さえ開発できるが、 サポートしてくれるツールもあるらし…
■ はじめに https://dk521123.hatenablog.com/entry/2020/04/11/000000 https://dk521123.hatenablog.com/entry/2020/12/18/152949 https://dk521123.hatenablog.com/entry/2022/04/28/000000 の続き。 今回は、入門として、docker-compose (v1) / docker co…
■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【０】今回、勉強になったこと 【１】トラブル概要 【２】エラー内容 １）[Hardware]タブの「Cluster Scaling Policy」欄 ２）イベントログ…
■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【１】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole（<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…
■ はじめに Amazon EMR の 自動スケーリングについて、不勉強なので 調べてまとめた 目次 【０】EMRの スケーリング方法 １）使用上の注意 ２）比較 ３）使い分け 【１】EMR-managed scaling １）使用上の注意 【２】Custom automatic scaling policy １）使…
■ はじめに トラブルシュートの切り分けの一環で、 HDFS内にファイルをインポートすることをやったのでメモ。 目次 【１】LOAD DATA 【２】CSVファイルをHDFS内にインポートする ０）前準備 １）LOAD DATA 実行 【１】LOAD DATA * CSVなどのファイルをHiveテ…
■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【１】トラブル概要 １）発生環境 ２）現象補足 【２】エラー内容 １）EMR Step内のエラー内容 ２）Tracking URL からのエラー情報 【３】原因 【４】解決案 【１】トラブル概要 EMR 内で…
■ はじめに Amazon EMR の ネットワーク周り（セキュリティグループ）について 学んだので、メモっておく。 （インフラ大変、、、） 目次 【１】セキュリティグループ（Security Group） １）Master ２）Slave ３）ServiceAccess ４）その他 【１】セキュリ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/25/231235 https://dk521123.hatenablog.com/entry/2020/06/02/183823 の続き。 データベースを作るなど、メモしておく。 目次 【１】データベース作成 【２】データベース削除 【３】データベー…
■ はじめに 起動中の EMR に Session Manager を使って入る方法や デバッグについて、メモしておく。 今回の収穫は、lynxコマンド（テキストベースのブラウザ表示） ってを学べたこと。 後日談： 設定については、以下の関連記事を参照のこと Amazon EMR ～ …
