Python
◾️はじめに https://dk521123.hatenablog.com/entry/2025/12/19/233012 で「SDV (Synthetic Data Vault)」っていうのを知ったので 調べてみた 目次 【１】SDV (Synthetic Data Vault) １）合成データとは? ２）主要モデル 【２】インストール 【３】サンプル…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/12/19/233012 で「Faker」っていうのを知ったので調べてみた （めちゃめちゃ簡単に使える！！） 目次 【１】Faker 【２】インストール 【３】サンプル 例１：Hello world 例２：ダミーCSVデータ 【４…
◾️はじめに 小ネタ。 pytest を実行した際に、自作したライブラリが見つけられず エラー「ModuleNotFoundError」が発生していた。 その際に、「__init__.py」を追加することにより、解決できた。 そこで、今更だが、「__init__.py」について扱う。 【１】__i…
◾️はじめに Pythonのcroniterについて調べて、試したので、 記録しておく 目次 【１】croniter 【２】インストール 補足：pyawscron (AWSのCron形式) 【３】サンプル 例１：croniter 【４】Tips １）UTC形式にする 【１】croniter * croniter（クロニター） …
◾️はじめに Pythonでのファイル暗号化・復号化のためのライブラリ python-gnupg について扱う 目次 【１】前提知識：GnuPG 【２】python-gnupg １）インストール 【３】サンプル 例１：キー生成・暗号化・復号化 例２：署名・検証（sign / verify） 例３：公…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/07/133808 https://dk521123.hatenablog.com/entry/2025/10/10/013250 の続き。 今回は、SQLAlchemyのTipsなどをまとめておく 目次 【１】ページネーション １）Order By ２）LIMIT ３）OFFSET 【…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/07/133808 の続き。 今回は、SQLAlchemyの基本的な知識を書き溜めておく。 目次 【１】テーブル定義 １）データ定義 ２）初期化としてのCREATE TABLE 【２】SELECT １）WHERE句 【３】INSERT 【４…
◾️はじめに Python の ORM（Object-Relational Mapping）の SQLAlchemyについて、扱う 目次 【０】Python ORM 【１】SQLAlchemy 【２】インストール 【３】サンプル 例１：SQLite 例２：PostgreSQL 【０】Python ORM ORMライブラリ 特徴 SQLAlchemy 最も有名…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/05/014051 の続き。 今回は、Python の WebフレームワークであるFastAPIでの ファイルアップロードについて扱う # これで、あと、FastAPI のDBの扱いさえ覚えれば、 # バックエンド側でやりたいこ…
◾️はじめに PythonのWEBフレームワークのFastAPIを扱う。 目次 【０】PythonのWEBフレームワーク 【１】FastAPI 【２】インストール 【３】Hello world Step1: コードを書く Step2: サーバ起動 Step3: 動作確認 【０】PythonのWEBフレームワーク フレームワ…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/03/141326 の続き。 今回は、pythonで、PDF -> TEXT を行う。 目次 【１】PyMuPDF 【２】PyMuPDF4LLM 【３】pdfminer.six 【１】PyMuPDF * PDFの構造を検出し、データを抽出するツール １）インス…
◾️はじめに やりたいこと 『画像又はPDFの情報からデータを抽出し、DBに入れるシステムを作成したい (無料のツールで)』があり、以下「【５】おまけ：構想していること」の 「１）処理フロー」と「２）システム構成」で考えている。 まず、その中の「Tessera…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/07/230713 の調査の一環として、 Pythonでs3上のPandasファイルをダウンロードせずに参照する方法を Github Copilotに聞いたところ、「s3fs」を教えてくれたので メモってみた 目次 【１】s3fsラ…
◾️はじめに 今更ながら、Pythonのリスト内包表記（List comprehensions） について扱う。 目次 【１】リスト内包表記（List comprehensions） １）例 【２】リスト内包表記の種類 １）配列（list） ２）集合（set） ３）辞書（dict） 【３】リスト内包表記の…
◾️はじめに Python で辞書リストの重複を排除するために 色々調べたら、frozensetってのを使ったのでメモ。 目次 【１】frozenset １）仕様 【２】用途 １）辞書のキーとして利用 【３】frozensetの利用例：辞書リストの重複排除 １）完全一致で重複排除 ２…
◾️はじめに Jinja2の繰り返し(ループ)についてメモ。 目次 【１】for文 【２】ループの制御文 １）break文 ２）continue文 【３】loop １）主なメソッド ２）サンプル 【４】使用上の注意：変数をループする場合の注意点 １）NG例 ２）OK例 【１】for文 サン…
◾️はじめに Jinja2の条件分岐についてメモ。 目次 【１】if文 １）サンプル 【２】論理演算子 １）サンプル 【３】三項演算子 １）サンプル 【１】if文 {% if 条件式1 %} {# 条件式1が true なら実行される #} {% elif 条件式2 %} {# 条件式2が true なら実…
◾️はじめに Jinja2で変数が文字列もしくは１要素のタプルの場合、文字列として扱い 1文字づつループされてしまい、その対策として変数をチェックすることを 調べたので、Jinja2の変数全般をまとめてみた 目次 【１】変数定義 【２】変数参照 【３】変数チェ…
◾️はじめに 小ネタ。 dbt の macro を作っていてSyntax errorを回避するために do文（do statement）を使った。 ただ、調べてみてもいい解説しているページが見つからなかったので 自分なりの解釈でまとめてみた 目次 【０】do文の公式ドキュメントの解説 【…
◾️はじめに Python の bool については https://dk521123.hatenablog.com/entry/2021/10/02/000000 でやったが、別の問題でハマったので、 この際だから、今回は、Pythonの bool を扱う際の注意事項について まとめてみようと思う。 目次 【０】前提知識：Py…
◾️はじめに 今更だが、Pythonのアンパックについて扱う 目次 【０】アンパックを意識したきっかけ １）現象概要 ２）出力結果（エラーメッセージ） ３）解決案 【１】アンパック（unpack） １）サンプル 【２】アンパックするための演算子 １）*演算子（スタ…
◾️はじめに https://dk521123.hatenablog.com/entry/2021/11/28/113711 で、Pythonの抽象クラスのサンプルを作った際に、 「Class properties are deprecated in Python 3.11 ...」が表示した。 警告文の内容的に、将来的には、動かなくなるコードになりそう…
■ はじめに 今日、業務で、「streamlit」ってのがでてきて どうも、Snowflake が streamlit を買収され、 https://www.snowflake.com/ja/blog/snowflake-to-acquire-streamlit/ Snowflake上でも動く（Streamlit in Snowflake）とか話題になった。 https://do…
■ はじめに Jinja2がベースになっている dbt を使っていて 空白行が異常にできて見づらい。 また、それが原因かは不明だが、メモリエラーも発生しており いずれにせよ、余分な空行はない方がいいので、調べてみたら、 Jinja2 には、Whitespace Control 機能…
■ はじめに Jinja2で 既存のリストから特定の文字列を除外したかったが、 https://dk521123.hatenablog.com/entry/2024/10/19/000848 で記載したように、リスト内包表記がサポート外とのことだったので、 大分ハマっていたら、フィルタのrejectでやりたいこ…
■ はじめに https://dk521123.hatenablog.com/entry/2024/10/18/001757 https://dk521123.hatenablog.com/entry/2023/11/28/235951 https://dk521123.hatenablog.com/entry/2024/09/11/003301 https://dk521123.hatenablog.com/entry/2018/09/22/142348 等で…
■ はじめに dbt で macro を修正する必要があり、 jinja2の基本的な文法事項が分かっていなかったので まとめておく。 目次 【１】基本 【２】コメント文 １）使用上の注意 【３】変数 １）変数定義 ２）変数参照 【４】if文 １）論理演算子 【５】for文 １…
■ はじめに Parquet ファイルを扱うことになり、テストデータを作りたいので Pythonであれば、Pandas でParquet を扱うのが一番楽そうなので 個別にまとめておく 目次 【１】インストール 【２】Parquet の書き出し・読み出し １）出力・書き出し ２）入力・…
■ はじめに https://qiita.com/python_academia/items/a54a6d1dcc5a12875c88 を読んでいた際に、 Scala で気に入っている match文が、Python3.10以降から 使えるとのことので、メモっておく 目次 【１】match文 １）使用上の注意 【２】サンプル 例１：Hello…
■ はじめに dbt Core v1.7 を使っているのだが、 以下の公式ドキュメントを確認したところ、 もうすぐサポートが切れる https://docs.getdbt.com/docs/dbt-versions/core dbt Core Initial release Support level and end date v1.8 May 9 2024 Active — May…
