■ はじめに https://dk521123.hatenablog.com/entry/2018/05/26/005948 の続き。 友人がWebサイトを作るそうなので、ちょっと マテリアル デザイン フレームワークを調べ直してみた。 今回は、いくつかの候補の内、Materialize について取り上げる 目次 【１…

■ はじめに ステージからS3にファイルを読み込んで、 そのファイルデータをSnowflakeにロードするって処理がある。 その際にファイルがなかったら、意図的にエラーにして処理を 中断させることを考える （なんかオプションがあればいいんだけど、探したけど…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 https://dk521123.hatenablog.com/entry/2022/12/16/143349 https://dk521123.hatenablog.com/entry/2022/12/26/211349 などで、何回か渡って、 Snowflake の ストアドプロシージャにつ…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/23/223345 で、IF文を使ったが、 どうせなら、Snowflake の 条件分岐 をまとめておけば ストアドの基本的なことは、網羅されると思うので 今回でメモっておく。 目次 【０】Snowflake での条件分…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/23/223345 のサンプルで、 ストアド内で Countの結果を使って処理したが 詳細は、あんまりよく分からず作った。 そこで、今回は、クエリ結果を受け取り処理することを 深堀りしてみた。 目次 【０…

■ はじめに Snowflake でデータがなかったら エラーを発生させる必要が出てきたので ストアドの例外について調べてみた 目次 【１】例外の宣言 【２】例外発生 【３】EXCEPTION ブロック 使用上の注意 【４】サンプル 例１：０件だったら独自の例外を発生さ…

■ はじめに Snowflake でCOPY INTO <TABLE> した際のトラブルをメモっておく。 目次 【１】トラブル概要 １）SQL文例 【２】原因 【３】解決案 案１：データロードの際に「FORCE=TRUE」を指定 案２：Tempテーブル経由でINSERTする 【１】トラブル概要 COPY INTO <TABLE> で</table></table>…

■ はじめに 業務作業で、でかいデータを使っていて、 途中で止めなくてはいけない（Abort）場合に、 トランザクションを張っていたら、 ちゃんとロールバックしているかが気になったので Snowflake の トランザクションについて調べてみた。 => 結論からいう…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 https://dk521123.hatenablog.com/entry/2022/12/16/143349 https://dk521123.hatenablog.com/entry/2022/12/17/000217 で、 Snowflake の ストアドプロシージャ（Stored Procedure） …

■ はじめに EXECUTE IMMEDIATE文についてメモしておく。 目次 【１】EXECUTE IMMEDIATE １）使いどころ 【２】サンプル 【３】その他のTips １）二重ドル記号（$$） 【１】EXECUTE IMMEDIATE * 指定されたSQL文の文字列を即時実行する https://docs.snowflak…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 の続き。 ストアド で ループする処理を学ぶ。 今回で、大分便利に使えるようになりそう、、、 目次 【１】Snowflakeのストアドのループ操作 １）FOR ２）WHILE ３）REPEAT ４）LOOP 【…

■ はじめに ビッグデータを取り込む依頼を受けたのだが、 色々と想定外のことが起きて、あーすれば良かったなっとか 考慮する事項を纏めておけば見積もりに役立つかなっと思ったので 反省点や自戒の念を込めてメモしておく。 【０】考慮事項 【１】1回にどの…

■ はじめに ゼロトラスト について前から気になっていたのだが 今、読んでいる本で、 ゼロトラストアーキテクチャー（Zero Trust Architecture; ZTA） がでてきたので、軽くまとめる 目次 【１】ゼロトラスト（Zero Trust; ZT） 【２】ネットワーク分離での…

■ はじめに https://dk521123.hatenablog.com/entry/2022/12/09/152837 で、Snowflakeには、Timerみたいに疑似的な処理がなさそうで その代替え案としてストアドプロシージャを軽く触ったのを きっかけに調べてみた。 目次 【１】ストアドプロシージャ (Stor…

■ はじめに 徐々にTCP/IPについてメモって行く 目次 【１】TCP/IP １）OSIとの対比 【２】TCP/IPの4階層モデル １）アプリケーション層 ２）トランスポート層 ３）インターネット層 ４）リンク層 【１】TCP/IP TCP (Transmission Control Protocol) IP (Inte…

■ はじめに 小ネタ、、、 だと思ったが、実験などして意外と実りがあった。 クエリを中断（Abort; アボート）する必要があり 長時間掛かるクエリの場合、 Web UI上でできないこともあるので調べてみた 目次 【１】クエリの中断の仕方 １）実行クエリがWebUI…

■ はじめに Snowflake の ネットワークポリシー（Network policy）について 触れたので、メモ。 難しいのかなっと思ったが、シンプルで結構簡単に理解できた。 目次 【１】ネットワークポリシー 【２】SQL文 １）CREATE NETWORK POLICY ２）ALTER ACCOUNT ３…

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 データロードが時間が掛かるので、 データロードのパフォーマンスについて調べてみた。 目次 【０】データロードのパフォーマンス 補足：公式ドキュメントより 【１】ウェアハ…

■ はじめに Snowflake で時間が掛かる処理があるため そのボトルネックの原因を知りたいのだが そもそも、どう調査していいものかが分からず そっから調査したのでメモ。 目次 【１】ウェアハウス負荷監視 １）ドキュメントについて 補足：リソースモニター…

■ はじめに 使っていないPCを友人にあげる際に Windows10からWindows11にあげたり、 クリーンインストールしたりしたので、メモっとく。 目次 【１】非対応PCをWindows11 にアップグレードする 【２】Windows11 を クリーンインストールする 【１】非対応PC…

■ はじめに Snowflake の ウェアハウス（Warehouse、仮想ウェアハウスも同じ意味） について、こつこつまとめていく 目次 【１】ウェアハウス (Warehouse) 【２】SQL文 / コマンド １）CREATE WAREHOUSE ２）ALTER WAREHOUSE ３）DROP WAREHOUSE ４）SHOW WA…

■ はじめに AWS Glue をつかって、でかいデータを扱ってているのだが 想定していたより、でかいデータだったので、 Glue Jobの パフォーマンスをチューニングする際の知識を 調べたので、メモする。 目次 【１】パフォーマンスに関わるジョブプロパティ １）…

■ はじめに 久しぶりに、AWS Glue ネタ。 でかいデータを処理しなければならず、 同じ Glue Job を条件を変えて 並列で動かそうとしようとしたらエラーになったので その原因と解決案についてメモ。 目次 【１】トラブル概要 【２】エラーメッセージ 【３】…

■ はじめに Snowflake における リソースモニター（Resource monitor）について メモしておく 目次 【１】リソースモニター（Resource monitor） 補足：Snowflakeクレジット 【２】SQL文 / コマンド １）CREATE RESOURCE MONITOR ２）SHOW RESOURCE MONITORS…

■ はじめに https://dk521123.hatenablog.com/entry/2022/11/23/000000 の続き。 最近、プログラムをほとんど書いていないので 上記の関連記事の「【２】課題」の部分を修正して もう少し発展したツールを作ってみた。 ついでに、ファイル出力もやってみたの…

■ はじめに 長い間、よくわからなかったSnowflakeの接続問題について やっと原因が理解できたので、メモする。 目次 【１】トラブル概要 【２】エラー内容 【３】原因 １）確認方法 【４】解決案 【５】別ケースでの同じエラー 【１】トラブル概要 Snowflake…

■ はじめに CSV/TSVテストデータを自動的に作るツールを作ることを考えている(※)。 個人的に、ツールを作る際に、一番汎用性があるのは、 JavaScriptではないかと。 そこで、AWSマネージメントコンソールのような 値が入ってたら、動的に Textboxが生成する…

■ はじめに https://dk521123.hatenablog.com/entry/2022/11/24/230044 で、 「CSV/TSVテストデータを自動的に作るツールを作ることを考えている。」 って言ったので、とりあえず、プロトタイプを作ってみた。 「超簡単」とは書いたが、それでもそれなりのコ…

■ はじめに の続き。 「１）オブジェクト取得系」を掘り下げる 目次 【１】getElementById() 【２】getElementsByTagName() 【３】querySelectorAll() 【４】querySelector() 【１】getElementById() * 指定したIDの要素のオブジェクト取得 => 詳細は以下の…

■ はじめに JavaScript の イベントについて扱う 目次 【１】イベントの種類 １）基本的なイベント ２）入力イベント 【２】イベントの追加方法 【１】イベントの種類 １）基本的なイベント [1] click * Click イベント https://developer.mozilla.org/ja/do…