Python
■ はじめに Python から API をコールすることになりそうで その際に使用する urllib についてメモ。 目次 【１】urllib １）使用例 ２）AWS Glue のサポート状況 補足：サードパーティライブラリ「Requests」 【２】API仕様 １）urllib.request.Request ２…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/02/223658 https://dk521123.hatenablog.com/entry/2021/03/31/000000 https://dk521123.hatenablog.com/entry/2021/04/05/165656 の続き。 今回は、Python標準 unittest の Tips を纏めておく 目…
■ はじめに 図書館で以下の本を借りて、 mypy について学んだので、メモ Pythonエンジニア育成推進協会監修 Python実践レシピ作者:鈴木 たかのり,筒井 隆次,寺田 学,杉田 雅子,門脇 諭,福田 隼也技術評論社Amazon 目次 【１】mypy 【２】環境設定 【３】使い…
■ はじめに https://dk521123.hatenablog.com/entry/2020/05/15/140053 の続き。 globals()ってのを扱ったから、どんなものか調べてみた 目次 【１】関連する組み込み関数 １）globals() ２）locals() 【２】使用上の注意 【３】サンプル 【１】関連する組み…
■ はじめに 「PythonZen & PEP 8 検定試験」がリリースされて 受験してみたので、メモ。 無料だし、受けてみて、結構、勉強になるので結構お勧め。 特に、PythonZenって、名前くらいで、全然知らなかったので 有意義だった。 目次 【１】PythonZen & PEP 8 …
■ はじめに https://pythonzen-pep8-exam.jp/ https://www.pythonic-exam.com/archives/news/python-zen で「PythonZen & PEP 8 検定試験」って 無料で受けられるPython資格試験をうけてみた。 (試験については、以下の関連記事を参照のこと) https://dk5211…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/02/000000 の続き。 「パスからファイル名を抜き出す」とか 「ファイル名から拡張子を抜き出す」とかを結構やることが多く なんだっけ？っていつもなるので、まとめておく 目次 【１】パス、ファ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/17/225829 https://dk521123.hatenablog.com/entry/2020/11/21/000000 https://dk521123.hatenablog.com/entry/2020/12/07/175729 の続き。 2022年4月末までにPython3エンジニア認定データ分析試…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2022/02/16/000000 で扱った pd.read_json() をテストしていたら、 意図した動作にならなかった。 原因を探っていたら、None（null）になってほしい値が Nan（非数(英語：Not a Number)）になっ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/11/17/000000 https://dk521123.hatenablog.com/entry/2020/11/18/000000 https://dk521123.hatenablog.com/entry/2021/01/25/000000 の続き。 JSONを扱うことになったので、メモ。 目次 【１】JSON…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/25/000000 からの派生。 Pandas のデータフレーム（Data frame）へ変換する必要があったのでメモ。 目次 【１】Data Frame に変換する １）List => Data Frame ２）dict => Data Frame 【１】Data…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/11/141852 より分冊。 昨今、色々なプロジェクトに首を突っ込んでいる関係で Pythonのバージョンを切り替えたり大変だ。 そこで、pyenv について扱う。 目次 【１】環境設定 １）Linux の場合 ２…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/19/104805 の続き。 JSONに関して扱うことになったので、メモ。 目次 【１】JSONインスタンスをコピーする 【２】JSONをマージする 【３】JSONオブジェクトをフィルタリングする 【４】SELECTした…
■ はじめに conda について扱う。 目次 【１】環境設定 １）プロキシ設定 【２】condaコマンド １）インストール ２）別バージョンのPython環境を作成する 【１】環境設定 １）プロキシ設定 以下を用意する。 [C:\Users\[ユーザー名]\Anaconda3\.condarc] pr…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/14/121909 の続き。 テストデータなどを作るのに、日付の処理について扱ったのでメモ。 目次 【１】X日前の日付の取得 【２】日付でループさせる 【３】月初・月末の取得 【１】X日前の日付の取得…
■ はじめに 今更なのだが、Pythonで データ型を指定して 書くことを改めて、ちゃんと調べてみたので、メモ。 はじめ、軽ーく書くつもりだったのだが、 調べていくうちに思いのほか長くなってしまった、、、 目次 【１】関連用語 １）関数アノテーション（Fun…
■ はじめに システムのパスワードを決めるために、 より安全な文字列を生成する必要ができたので Pythonで生成する方法を調べてみた。 ついでに、「トークン」や「UUID」も載せておく。 ちなみに、Java版で同じことを過去にやっていた。 【Java】セキュアな…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 https://dk521123.hatenablog.com/entry/2019/08/29/220537 の続き。 今更ながら、Pythonの抽象クラス（Abstract Class） を知ったので、メモ。 目次 【１】Pythonの抽象クラス - ABC (…
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 https://dk521123.hatenablog.com/entry/2021/11/24/163751 の続き。 PyTest の Mock について、学ぶ。 目次 【１】環境設定 【２】サンプル 例１：戻り値をMock化 - mocker.patch 例２…
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 の続き。 PyTest の Fixture（フィクスチャ）について、学ぶ。 目次 【１】Fixture（フィクスチャ） 【２】Scope（スコープ） 【３】サンプル 【１】Fixture（フィクスチャ） * PyTest …
■ はじめに Parquet (パーケット) 形式のファイルを取り込むことになって そのためのテストデータ（ファイル）を作りたいので、 Python で Parquet を扱う方法をメモしておく。 Parquet については、以下の関連記事を参照のこと。 Parquet ファイル https://…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 https://dk521123.hatenablog.com/entry/2021/11/08/221219 の続き。 色々調べて、flake8 と black を使いそうなので、 今回は、Python の フォーマッター「black」について、 設定の仕…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/11/141852 で、以前、pipenv などを取り扱ったが、 新たに、Poetry（ポエトリー）なるものを教えてもらったのでメモ。 目次 【１】Poetry １）公式サイト 【２】環境構築 １）前提条件 ２）インス…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 の続きで、Pythonのコードチェックにおいて、 flake8 以外にも、色々なツールがあふれている。 そこで、フォーマッターなども含めた Python を奇麗に書くためのツール群について、整理…
■ はじめに 文字列からbool に変換する際に 【１】の「意図した動作にならなかった例」のように 実装したが、うまくいかなかったので、メモっておく。 目次 【１】文字列 => bool に変換する際の注意点 【２】文字列 => bool に変換 １）サンプル ２）補足：…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/05/105550 で、json化するのに普段は、json.loads()を使っていたのだが astモジュールってのがあるのは知らなかった。 目次 【１】astモジュール 【２】literal_eval() １）json.loads() との違い…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/30/000000 で扱った pigz を Python から 起動するような処理を見た。 今回は、Python から コマンド実行することについて、まとめてみた。 目次 【０】外部コマンド実行モジュールについて 【１…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 https://dk521123.hatenablog.com/entry/2021/06/07/164858 の続き。 find() って文字列比較で使っているコードをみて、 あんまり使ったことなかったので、調べてみた。 （調べた結果、…
■ はじめに Pandas の apply() と transform() について、 触れる機会があったので、メモしておく。 目次 【１】apply() 【２】transform() 【１】apply() * 行全体や列全体に対して、同じ操作をしたいときに使用する API https://pandas.pydata.org/pandas-…
■ はじめに Pandas の データフレームの結合に関してメモっておく。 目次 【１】pd.concat() １）オプション a) index：連結方向の指定 ２）サンプル ３）参考文献 【２】pd.merge() １）オプション a) how：結合方法を指定 b) on, left_on, right_on : キー…
