Python
◾️はじめに 完全に個人的なメモ。 ファイルのリネーム処理を実装しそうなので予習しておく 目次 【１】ファイルのリネーム １）os.rename ２）os.replace ３）shutil.move 【２】AWS上でのファイルのリネーム 【３】サンプル 【１】ファイルのリネーム １）o…
◾️はじめに Python での class の後処理を実装する上で 今更ながら、Python での __xxx__（e.g. __init__）について メモしておく 目次 【１】特殊メソッド (Special Methods) 【２】様々な特殊メソッド １）クラス ２）文字列 ３）数値計算（演算子のオーバ…
◾️はじめに Pythonのtempfileについてメモっておく 目次 【１】tempfile 【２】主なAPI １）TemporaryDirectory ２）TemporaryFile ３）NamedTemporaryFile 【１】tempfile * 一時ファイルやディレクトリを作成する標準ライブラリ https://docs.python.org/j…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/18/222208 https://dk521123.hatenablog.com/entry/2026/06/11/175208 の続き。 python-gnupg で MDC (Modification Detection Code; 修正検出コード) に関して、 実装してみる なお、MDC につい…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/18/222208 の続き。 python-gnupgを使うことになったので、おさらいも兼ねてまとめる 目次 【１】主なAPI ０）gnupg.GPG １）import_keys ２）decrypt / decrypt_file ３）encrypt / encrypt_file…
◾️はじめに 小ネタ。 Pythonで、base64を扱いそうで、 過去記事を漁ったら書いてなかったので、まとめておく 目次 【１】Base64形式 【２】サンプル 例１：Base64エンコード（base64.b64encode()） 例２：Base64デコード（base64.b64decode()） 【１】Base64…
◾️はじめに Python の partial についてメモる 目次 【１】functools.partial 【２】Hello world 【３】サンプル 例１：コールバック関数 例２：map / filter と組み合わせ 【１】functools.partial * 関数の引数の一部をあらかじめ固定して、新しい関数を作…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/18/222208 では、暗号化・複合化ライブラリとしてpython-gnupgを扱ったが 今回は、PGPyについてメモっておく 目次 【１】PGPy 【２】python-gnupg との違い １）メリット ２）デメリット ３）補足…
◾️はじめに https://dk521123.hatenablog.com/entry/2022/02/23/000000 の続き。 仕事で、glob (グロブ) を細く使うことになりそうなので、 メモっておく 目次 【１】glob 【２】主なワイルドカード １）* ２）? ３）[] 【３】サンプル 【１】glob * ワイル…
◾️はじめに Python の Cookiecutter っていうのを知ったので メモしておく。 目次 【１】Cookiecutter 【２】用途 【３】インストール方法 【４】独自のテンプレートを作成してみる Step1: テンプレート用ディレクトリを作る Step2: cookiecutter.json を作…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/12/21/000330 の続き。 https://dk521123.hatenablog.com/entry/2025/12/24/001900 を書いている時に気がついたのだが、外部キーがあるようなデータって SDV (Synthetic Data Vault)はサポートしてい…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/12/19/233012 で合成データを考えた際に、 そのファイルの元になったファイル形式 （当面では、CSV/DSV(Delimiter Separated Values), Parquet） が分からないと、実装難しいかなっと思った。 そこで…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/12/19/233012 で「SDV (Synthetic Data Vault)」っていうのを知ったので 調べてみた 目次 【１】SDV (Synthetic Data Vault) １）合成データ（Synthetic Data）とは? ２）主要モデル 【２】インスト…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/12/19/233012 で「Faker」っていうのを知ったので調べてみた （めちゃめちゃ簡単に使える！！） 目次 【１】Faker 【２】インストール 【３】サンプル 例１：Hello world 例２：ダミーCSVデータ 【４…
◾️はじめに 小ネタ。 pytest を実行した際に、自作したライブラリが見つけられず エラー「ModuleNotFoundError」が発生していた。 その際に、「__init__.py」を追加することにより、解決できた。 そこで、今更だが、「__init__.py」について扱う。 【１】__i…
◾️はじめに Pythonのcroniterについて調べて、試したので、 記録しておく 目次 【１】croniter 【２】インストール 補足：pyawscron (AWSのCron形式) 【３】サンプル 例１：croniter 【４】Tips １）UTC形式にする 【１】croniter * croniter（クロニター） …
◾️はじめに Pythonでのファイル暗号化・復号化のためのライブラリ python-gnupg について扱う 目次 【１】前提知識：GnuPG １）python-gnupg以外のライブラリ「PGPy」 【２】python-gnupg １）インストール 【３】サンプル 例１：キー生成・暗号化・復号化 …
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/07/133808 https://dk521123.hatenablog.com/entry/2025/10/10/013250 の続き。 今回は、SQLAlchemyのTipsなどをまとめておく 目次 【１】ページネーション １）Order By ２）LIMIT ３）OFFSET 【…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/07/133808 の続き。 今回は、SQLAlchemyの基本的な知識を書き溜めておく。 目次 【１】テーブル定義 １）データ定義 ２）初期化としてのCREATE TABLE 【２】SELECT １）WHERE句 【３】INSERT 【４…
◾️はじめに Python の ORM（Object-Relational Mapping）の SQLAlchemyについて、扱う 目次 【０】Python ORM 【１】SQLAlchemy 【２】インストール 【３】サンプル 例１：SQLite 例２：PostgreSQL 【０】Python ORM ORMライブラリ 特徴 SQLAlchemy 最も有名…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/05/014051 の続き。 今回は、Python の WebフレームワークであるFastAPIでの ファイルアップロードについて扱う # これで、あと、FastAPI のDBの扱いさえ覚えれば、 # バックエンド側でやりたいこ…
◾️はじめに PythonのWEBフレームワークのFastAPIを扱う。 目次 【０】PythonのWEBフレームワーク 【１】FastAPI 【２】インストール 【３】Hello world Step1: コードを書く Step2: サーバ起動 Step3: 動作確認 【０】PythonのWEBフレームワーク フレームワ…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/10/03/141326 の続き。 今回は、pythonで、PDF -> TEXT を行う。 目次 【１】PyMuPDF 【２】PyMuPDF4LLM 【３】pdfminer.six 【１】PyMuPDF * PDFの構造を検出し、データを抽出するツール １）インス…
◾️はじめに やりたいこと 『画像又はPDFの情報からデータを抽出し、DBに入れるシステムを作成したい (無料のツールで)』があり、以下「【５】おまけ：構想していること」の 「１）処理フロー」と「２）システム構成」で考えている。 まず、その中の「Tessera…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/07/230713 の調査の一環として、 Pythonでs3上のPandasファイルをダウンロードせずに参照する方法を Github Copilotに聞いたところ、「s3fs」を教えてくれたので メモってみた 目次 【１】s3fsラ…
◾️はじめに 今更ながら、Pythonのリスト内包表記（List comprehensions） について扱う。 目次 【１】リスト内包表記（List comprehensions） １）例 【２】リスト内包表記の種類 １）配列（list） ２）集合（set） ３）辞書（dict） 【３】リスト内包表記の…
◾️はじめに Python で辞書リストの重複を排除するために 色々調べたら、frozensetってのを使ったのでメモ。 目次 【１】frozenset １）仕様 【２】用途 １）辞書のキーとして利用 【３】frozensetの利用例：辞書リストの重複排除 １）完全一致で重複排除 ２…
◾️はじめに Jinja2の繰り返し(ループ)についてメモ。 目次 【１】for文 【２】ループの制御文 １）break文 ２）continue文 【３】loop １）主なメソッド ２）サンプル 【４】使用上の注意：変数をループする場合の注意点 １）NG例 ２）OK例 【１】for文 サン…
◾️はじめに Jinja2の条件分岐についてメモ。 目次 【１】if文 １）サンプル 【２】論理演算子 １）サンプル 【３】三項演算子 １）サンプル 【１】if文 {% if 条件式1 %} {# 条件式1が true なら実行される #} {% elif 条件式2 %} {# 条件式2が true なら実…
◾️はじめに Jinja2で変数が文字列もしくは１要素のタプルの場合、文字列として扱い 1文字づつループされてしまい、その対策として変数をチェックすることを 調べたので、Jinja2の変数全般をまとめてみた 目次 【１】変数定義 【２】変数参照 【３】変数チェ…
