■ はじめに https://dk521123.hatenablog.com/entry/2018/05/26/005948 の続き。 友人がWebサイトを作るそうなので、ちょっと マテリアル デザイン フレームワークを調べ直してみた。 今回は、いくつかの候補の内、Materialize について取り上げる 目次 【１…

■ はじめに ステージからS3にファイルを読み込んで、 そのファイルデータをSnowflakeにロードするって処理がある。 その際にファイルがなかったら、意図的にエラーにして処理を 中断させることを考える （なんかオプションがあればいいんだけど、探したけど…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 https://dk521123.hatenablog.com/entry/2022/12/16/143349 https://dk521123.hatenablog.com/entry/2022/12/26/211349 などで、何回か渡って、 Snowflake の ストアドプロシージャにつ…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/23/223345 で、IF文を使ったが、 どうせなら、Snowflake の 条件分岐 をまとめておけば ストアドの基本的なことは、網羅されると思うので 今回でメモっておく。 目次 【０】Snowflake での条件分…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/23/223345 のサンプルで、 ストアド内で Countの結果を使って処理したが 詳細は、あんまりよく分からず作った。 そこで、今回は、クエリ結果を受け取り処理することを 深堀りしてみた。 目次 【０…

■ はじめに Snowflake でデータがなかったら エラーを発生させる必要が出てきたので ストアドの例外について調べてみた 目次 【１】例外の宣言 【２】例外発生 【３】EXCEPTION ブロック 使用上の注意 【４】サンプル 例１：０件だったら独自の例外を発生さ…

■ はじめに Snowflake でCOPY INTO <TABLE> した際のトラブルをメモっておく。 目次 【１】トラブル概要 １）SQL文例 【２】原因 【３】解決案 案１：データロードの際に「FORCE=TRUE」を指定 案２：Tempテーブル経由でINSERTする 【１】トラブル概要 COPY INTO <TABLE> で</table></table>…

■ はじめに 業務作業で、でかいデータを使っていて、 途中で止めなくてはいけない（Abort）場合に、 トランザクションを張っていたら、 ちゃんとロールバックしているかが気になったので Snowflake の トランザクションについて調べてみた。 => 結論からいう…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 https://dk521123.hatenablog.com/entry/2022/12/16/143349 https://dk521123.hatenablog.com/entry/2022/12/17/000217 で、 Snowflake の ストアドプロシージャ（Stored Procedure） …

■ はじめに EXECUTE IMMEDIATE文についてメモしておく。 目次 【１】EXECUTE IMMEDIATE １）使いどころ 【２】サンプル 【３】その他のTips １）二重ドル記号（$$） 【１】EXECUTE IMMEDIATE * 指定されたSQL文の文字列を即時実行する https://docs.snowflak…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 の続き。 ストアド で ループする処理を学ぶ。 今回で、大分便利に使えるようになりそう、、、 目次 【１】Snowflakeのストアドのループ操作 １）FOR ２）WHILE ３）REPEAT ４）LOOP 【…

■ はじめに ビッグデータを取り込む依頼を受けたのだが、 色々と想定外のことが起きて、あーすれば良かったなっとか 考慮する事項を纏めておけば見積もりに役立つかなっと思ったので 反省点や自戒の念を込めてメモしておく。 【０】考慮事項 【１】1回にどの…

■ はじめに ゼロトラスト について前から気になっていたのだが 今、読んでいる本で、 ゼロトラストアーキテクチャー（Zero Trust Architecture; ZTA） がでてきたので、軽くまとめる 目次 【１】ゼロトラスト（Zero Trust; ZT） 【２】ネットワーク分離での…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/09/152837 で、Snowflakeには、Timerみたいに疑似的な処理がなさそうで その代替え案としてストアドプロシージャを軽く触ったのを きっかけに調べてみた。 目次 【１】ストアドプロシージャ (Stor…

■ はじめに 徐々にTCP/IPについてメモって行く 目次 【１】TCP/IP １）OSIとの対比 【２】TCP/IPの4階層モデル １）アプリケーション層 ２）トランスポート層 ３）インターネット層 ４）リンク層 【１】TCP/IP TCP (Transmission Control Protocol) IP (Inte…

■ はじめに 小ネタ、、、 だと思ったが、実験などして意外と実りがあった。 クエリを中断（Abort; アボート）する必要があり 長時間掛かるクエリの場合、 Web UI上でできないこともあるので調べてみた 目次 【１】クエリの中断の仕方 １）実行クエリがWebUI…

■ はじめに Snowflake の ネットワークポリシー（Network policy）について 触れたので、メモ。 難しいのかなっと思ったが、シンプルで結構簡単に理解できた。 目次 【１】ネットワークポリシー 【２】SQL文 １）CREATE NETWORK POLICY ２）ALTER ACCOUNT ３…

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 データロードが時間が掛かるので、 データロードのパフォーマンスについて調べてみた。 目次 【０】データロードのパフォーマンス 補足：公式ドキュメントより 【１】ウェアハ…

■ はじめに Snowflake で時間が掛かる処理があるため そのボトルネックの原因を知りたいのだが そもそも、どう調査していいものかが分からず そっから調査したのでメモ。 目次 【１】ウェアハウス負荷監視 １）ドキュメントについて 補足：リソースモニター…

■ はじめに 使っていないPCを友人にあげる際に Windows10からWindows11にあげたり、 クリーンインストールしたりしたので、メモっとく。 目次 【１】非対応PCをWindows11 にアップグレードする 【２】Windows11 を クリーンインストールする 【１】非対応PC…

■ はじめに Snowflake の ウェアハウス（Warehouse、仮想ウェアハウスも同じ意味） について、こつこつまとめていく 目次 【１】ウェアハウス (Warehouse) 【２】SQL文 / コマンド １）CREATE WAREHOUSE ２）ALTER WAREHOUSE ３）DROP WAREHOUSE ４）SHOW WA…

■ はじめに AWS Glue をつかって、でかいデータを扱ってているのだが 想定していたより、でかいデータだったので、 Glue Jobの パフォーマンスをチューニングする際の知識を 調べたので、メモする。 目次 【１】パフォーマンスに関わるジョブプロパティ １）…

■ はじめに 久しぶりに、AWS Glue ネタ。 でかいデータを処理しなければならず、 同じ Glue Job を条件を変えて 並列で動かそうとしようとしたらエラーになったので その原因と解決案についてメモ。 目次 【１】トラブル概要 【２】エラーメッセージ 【３】…

■ はじめに Snowflake における リソースモニター（Resource monitor）について メモしておく 目次 【１】リソースモニター（Resource monitor） 補足：Snowflakeクレジット 【２】SQL文 / コマンド １）CREATE RESOURCE MONITOR ２）SHOW RESOURCE MONITORS…