2022-08-01から1ヶ月間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/19/104805 でJSONの扱いはやったが、 テストデータとして、ndjson のファイルを作る 可能性がでてきたので、予習。 目次 【０】ndjson 【１】ndjsonモジュールを使う １）インストール ２）サンプ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/01/03/000000 を分冊。 pulumi で TypeScript を使っているのだが、 少しでも簡潔に書きたいと思い、調べていたら 結局 map を使うことにしたので、メモしておく。 目次 【０】ブラウザ上での実行環…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2022/08/18/120935 で、Snowflakeの権限周りのトラブルについて扱ったが、 今後も同じようなトラブルがありそうで、 その際に原因を調べるため…
■ はじめに Snowflake で権限周りのエラーに遭遇したのでメモ。 原因が別の２ケースについて、あげておく。 目次 【１】例１：エラー「Table does not exist or not authorized」時の対応 １）トラブル概要 ２）エラー内容 ３）原因 ４）解決案 【２】例２：…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 https://dk521123.hatenablog.com/entry/2022/08/08/140619 https://dk521123.hatenablog.com/entry/2022/08/09/092941 の続き。 Django (ジャンゴ) の ビューに関する操作をやってきた…
■ はじめに 小ネタ。 Snowflakeにおいて、開発環境のテーブル定義が古かったが、 DDLが管理されてなかった。 そのため、Snowflake でテーブルをExportするやり方を調べた。 今後も使いそうだし、 テーブル以外にもFile Formatなどにも使えるので メモってお…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 https://dk521123.hatenablog.com/entry/2022/08/08/140619 の続き。 今回は、 Django (ジャンゴ) の「アプリ」について学ぶ。 これで、 Django (ジャンゴ) に関する仕組みの知識ベース…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 の続き。 今回は、前回のサンプルをベースにビューの表示の仕方について学ぶ。 目次 【１】ビューの種類 １）関数ベースビュー（Function Based Views） ２）クラスベースビュー（Class…
■ はじめに Python の Django (ジャンゴ) に関してちょこっと調べたのでメモ。 後、Hello world的なことをやってみる。 目次 【１】Django 【２】特徴 １）設計思想 ２）MVT (Model-View-Template) 【３】設定手順 １）設定環境 ２）インストール 【４】Hell…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/09/155903 の続き。 Poetry の基本的なノウハウをメモしておく。 目次 【１】Pythonバージョンを指定する場合 １）手順 【２】依存パッケージを追加する場合 １）開発のみ必要なライブラリ追加す…
■ はじめに Python から API をコールすることになりそうで その際に使用する urllib についてメモ。 目次 【１】urllib １）使用例 ２）AWS Glue のサポート状況 補足：サードパーティライブラリ「Requests」 【２】API仕様 １）urllib.request.Request ２…
■ はじめに https://dk521123.hatenablog.com/entry/2022/06/28/000000 の続き。 pulumiで対象リソースのみデプロイするコマンド「pulumi up --target xxx」で URN(ARN) を調べるのは、「pulumi stack --show-urns」を使用するのだが 新規作成のリソースでは…
■ はじめに https://dk521123.hatenablog.com/entry/2020/07/11/182959 https://dk521123.hatenablog.com/entry/2020/07/12/103726 で 誤ったタイミングで main/releaseブランチなどに マージしてしまい、元に戻す方法を考えたが、 Github上だとWeb UIのGUI…
■ はじめに Snowflake で、DROPなどのSQLを実行した際に ~~~~ SQL access control error: Insufficient privileges to operate on xxxx ~~~~ が表示することが何度かあり、対応方法を結構忘れてしまうので、 備忘録としてメモしておく。 目次 【１】エラー内…
■ はじめに Snowflake の Merge Into について扱う。 目次 【１】Merge Into 【２】構文 【３】使用上の注意 【４】サンプル 例１：Hello world 例２：INSERT OR UPDATE 【１】Merge Into * 2番目のテーブルまたはサブクエリの値に基づいて、 テーブルの値を…
