【Scrum】スクラム開発 ~ インセプションデッキ ~

■ はじめに Scrum の 勉強を新たに始めて インセプションデッキ (Inception Deck) なるものを知ったのでメモ。 目次 【1】インセプションデッキ (Inception Deck) 【2】11個の質問 1)Why Are We Here? (私たちはなぜここにいるのか?) 2)Create an Ele…

【AWS】Transfer Family ~ 入門編 ~

AWS

■ はじめに 業務で、AWSのSFTPサーバに関するサービスで AWS Transfer Family があるって聞いたので、メモ 目次 【1】AWS Transfer Family 【2】アーキテクト 【3】料金 【1】AWS Transfer Family * フルマネージドな ファイル送受信転送サービス => フ…

【Scrum】スクラム開発 ~ ワーキングアグリーメント ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/31/222447 の続き。 新しいチームとなり、スクラムの ワーキングアグリーメント(Working Agreement)の作成を することになったので、メモ。 目次 【1】ワーキングアグリーメント(Working Agre…

The State of CSS 2022

■ はじめに https://dk521123.hatenablog.com/entry/2018/05/26/005948 で、マテリアル デザイン フレームワーク について調べたが 4年以上経ったので、調べ直してみたら、 CSSに関する2022年次調査「The State of CSS 2022」があったので 最近のCSSフレーム…

【Materialize】Materialize ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2018/05/26/005948 の続き。 友人がWebサイトを作るそうなので、ちょっと マテリアル デザイン フレームワークを調べ直してみた。 今回は、いくつかの候補の内、Materialize について取り上げる 目次 【1…

【Snowflake】ストアド ~ ステージ内でデータ0件の場合エラーにする ~

■ はじめに ステージからS3にファイルを読み込んで、 そのファイルデータをSnowflakeにロードするって処理がある。 その際にファイルがなかったら、意図的にエラーにして処理を 中断させることを考える (なんかオプションがあればいいんだけど、探したけど…

【Snowflake】ストアド ~ S3内にパーティション構成でUnloadする ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 https://dk521123.hatenablog.com/entry/2022/12/16/143349 https://dk521123.hatenablog.com/entry/2022/12/26/211349 などで、何回か渡って、 Snowflake の ストアドプロシージャにつ…

【Snowflake】ストアド ~ 基本編 / 条件分岐 ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/23/223345 で、IF文を使ったが、 どうせなら、Snowflake の 条件分岐 をまとめておけば ストアドの基本的なことは、網羅されると思うので 今回でメモっておく。 目次 【0】Snowflake での条件分…

【Snowflake】ストアド ~ クエリ結果を受け取る ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/23/223345 のサンプルで、 ストアド内で Countの結果を使って処理したが 詳細は、あんまりよく分からず作った。 そこで、今回は、クエリ結果を受け取り処理することを 深堀りしてみた。 目次 【0…

【Snowflake】ストアド ~ 例外 / EXCEPTION ~

■ はじめに Snowflake でデータがなかったら エラーを発生させる必要が出てきたので ストアドの例外について調べてみた 目次 【1】例外の宣言 【2】例外発生 【3】EXCEPTION ブロック 使用上の注意 【4】サンプル 例1:0件だったら独自の例外を発生さ…

【Snowflake】【トラブル】COPY INTO したがデータが格納されていない

■ はじめに Snowflake でCOPY INTO <TABLE> した際のトラブルをメモっておく。 目次 【1】トラブル概要 1)SQL文例 【2】原因 【3】解決案 案1:データロードの際に「FORCE=TRUE」を指定 案2:Tempテーブル経由でINSERTする 【1】トラブル概要 COPY INTO <TABLE> で</table></table>…

【Snowflake】Snowflake ~ トランザクション ~

■ はじめに 業務作業で、でかいデータを使っていて、 途中で止めなくてはいけない(Abort)場合に、 トランザクションを張っていたら、 ちゃんとロールバックしているかが気になったので Snowflake の トランザクションについて調べてみた。 => 結論からいう…

【Snowflake】ストアド ~ デバッグログについて ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 https://dk521123.hatenablog.com/entry/2022/12/16/143349 https://dk521123.hatenablog.com/entry/2022/12/17/000217 で、 Snowflake の ストアドプロシージャ(Stored Procedure) …

【Snowflake】ストアド ~ EXECUTE IMMEDIATE ~

■ はじめに EXECUTE IMMEDIATE文についてメモしておく。 目次 【1】EXECUTE IMMEDIATE 1)使いどころ 【2】サンプル 【3】その他のTips 1)二重ドル記号($$) 【1】EXECUTE IMMEDIATE * 指定されたSQL文の文字列を即時実行する https://docs.snowflak…

【Snowflake】ストアド ~ 基本編 / ループ ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 の続き。 ストアド で ループする処理を学ぶ。 今回で、大分便利に使えるようになりそう、、、 目次 【1】Snowflakeのストアドのループ操作 1)FOR 2)WHILE 3)REPEAT 4)LOOP 【…

ビッグデータを取り込む際の考慮事項

■ はじめに ビッグデータを取り込む依頼を受けたのだが、 色々と想定外のことが起きて、あーすれば良かったなっとか 考慮する事項を纏めておけば見積もりに役立つかなっと思ったので 反省点や自戒の念を込めてメモしておく。 【0】考慮事項 【1】1回にどの…

【ネットワーク】ゼロトラストアーキテクチャー(ZTA)

■ はじめに ゼロトラスト について前から気になっていたのだが 今、読んでいる本で、 ゼロトラストアーキテクチャー(Zero Trust Architecture; ZTA) がでてきたので、軽くまとめる 目次 【1】ゼロトラスト(Zero Trust; ZT) 【2】ネットワーク分離での…

【Snowflake】ストアド ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/09/152837 で、Snowflakeには、Timerみたいに疑似的な処理がなさそうで その代替え案としてストアドプロシージャを軽く触ったのを きっかけに調べてみた。 目次 【1】ストアドプロシージャ (Stor…

【ネットワーク】TCP / IP

■ はじめに 徐々にTCP/IPについてメモって行く 目次 【1】TCP/IP 1)OSIとの対比 【2】TCP/IPの4階層モデル 1)アプリケーション層 2)トランスポート層 3)インターネット層 4)リンク層 【1】TCP/IP TCP (Transmission Control Protocol) IP (Inte…

【Snowflake】Snowflake ~ クエリの中断 ~

■ はじめに 小ネタ、、、 だと思ったが、実験などして意外と実りがあった。 クエリを中断(Abort; アボート)する必要があり 長時間掛かるクエリの場合、 Web UI上でできないこともあるので調べてみた 目次 【1】クエリの中断の仕方 1)実行クエリがWebUI…

【Snowflake】Snowflake ~ ネットワークポリシー ~

■ はじめに Snowflake の ネットワークポリシー(Network policy)について 触れたので、メモ。 難しいのかなっと思ったが、シンプルで結構簡単に理解できた。 目次 【1】ネットワークポリシー 【2】SQL文 1)CREATE NETWORK POLICY 2)ALTER ACCOUNT 3…

【Snowflake】Snowflake ~ データロードのパフォーマンス ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 データロードが時間が掛かるので、 データロードのパフォーマンスについて調べてみた。 目次 【0】データロードのパフォーマンス 補足:公式ドキュメントより 【1】ウェアハ…

【Snowflake】Snowflake ~ ウェアハウス負荷監視 ~

■ はじめに Snowflake で時間が掛かる処理があるため そのボトルネックの原因を知りたいのだが そもそも、どう調査していいものかが分からず そっから調査したのでメモ。 目次 【1】ウェアハウス負荷監視 1)ドキュメントについて 補足:リソースモニター…

【Windows】Windows11 あれこれ

■ はじめに 使っていないPCを友人にあげる際に Windows10からWindows11にあげたり、 クリーンインストールしたりしたので、メモっとく。 目次 【1】非対応PCをWindows11 にアップグレードする 【2】Windows11 を クリーンインストールする 【1】非対応PC…

【Snowflake】Snowflake ~ ウェアハウス / Warehouse ~

■ はじめに Snowflake の ウェアハウス(Warehouse、仮想ウェアハウスも同じ意味) について、こつこつまとめていく 目次 【1】ウェアハウス (Warehouse) 【2】SQL文 / コマンド 1)CREATE WAREHOUSE 2)ALTER WAREHOUSE 3)DROP WAREHOUSE 4)SHOW WA…

【AWS】AWS Glue ~ パフォーマンスチューニング ~

AWS

■ はじめに AWS Glue をつかって、でかいデータを扱ってているのだが 想定していたより、でかいデータだったので、 Glue Jobの パフォーマンスをチューニングする際の知識を 調べたので、メモする。 目次 【1】パフォーマンスに関わるジョブプロパティ 1)…

【トラブル】【AWS】Glue Job を並列で動かそうとしたら ConcurrentRunsExceededExceptionが発生

■ はじめに 久しぶりに、AWS Glue ネタ。 でかいデータを処理しなければならず、 同じ Glue Job を条件を変えて 並列で動かそうとしようとしたらエラーになったので その原因と解決案についてメモ。 目次 【1】トラブル概要 【2】エラーメッセージ 【3】…

【Snowflake】Snowflake ~ リソースモニター ~

■ はじめに Snowflake における リソースモニター(Resource monitor)について メモしておく 目次 【1】リソースモニター(Resource monitor) 補足:Snowflakeクレジット 【2】SQL文 / コマンド 1)CREATE RESOURCE MONITOR 2)SHOW RESOURCE MONITORS…

【JS】JS で ファイル出力するCSVデータ生成ツールを作ってみる

■ はじめに https://dk521123.hatenablog.com/entry/2022/11/23/000000 の続き。 最近、プログラムをほとんど書いていないので 上記の関連記事の「【2】課題」の部分を修正して もう少し発展したツールを作ってみた。 ついでに、ファイル出力もやってみたの…

【Snowflake】【トラブル】エラー「Error assuming AWS_ROLE」時の対応

■ はじめに 長い間、よくわからなかったSnowflakeの接続問題について やっと原因が理解できたので、メモする。 目次 【1】トラブル概要 【2】エラー内容 【3】原因 1)確認方法 【4】解決案 【1】トラブル概要 Snowflakeから、Integration(ストレージ…