■ はじめに Pandas の データフレームの結合に関してメモっておく。 目次 【１】pd.concat() １）オプション a) index：連結方向の指定 ２）サンプル ３）参考文献 【２】pd.merge() １）オプション a) how：結合方法を指定 b) on, left_on, right_on : キー…

■ はじめに データフレームに関する基本的な操作をまとめておく。 目次 【１】データフレームを生成する 【２】データをループする 例１：itertuples() を使う 例２：iterrows() を使う 例３：dict にしてからループ 【３】データをフィルタリングする 使用…

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/08/161406 https://dk521123.hatenablog.com/entry/2021/07/09/115553 で 外部ネットワーク が繋がらない状態で、 個別で pip install とした際に、依存するパッケージを先に 入れておかなくては…

■ はじめに Amazon EMR（外部接続不可） に wheelファイルを pip install しようとした時に エラー「Read time out」が発生したので、その際の出来事をメモする 目次 【１】概要 【２】原因 補足：問題の切り分けに使ったコマンド「--no-deps」 【３】解決案…

■ はじめに Pandas を扱う機会があって、Excel を扱った際に エラーが連チャンで発生したので、メモっておく。 目次 【１】エラー「Missing optional dependency 'xlrd'」が表示 【２】エラー「Excel xlsx file; not supported」が表示 【１】エラー「Missin…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/09/001342 で、pip の分量が多くなったので、分冊。 目次 【１】pip 【２】環境構築 １）pip 自体のインストール ２）pip の更新 【３】pip によるインストール 【４】インストール済みパッケージ…

■ はじめに Airflow をインストールしようと思ったら 「ImportError: cannot import name 'ClassVar'」って エラーが出てきて、原因を調べたら Pythonを upgrade する必要があった。 ただ、結構面倒だったので、メモしておく。 目次 【１】設定環境 【２】手…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 の続き。 Python は使いやすい言語だと思うが、いけていない点がある。 今回は、その中の一部で「先頭・末尾の文字列除去」について扱う （例えば、http://xxxx/xxxxって際に「xxxx/xxx…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 https://dk521123.hatenablog.com/entry/2020/10/14/000000 https://dk521123.hatenablog.com/entry/2021/04/07/105858 の続き。 to_dict / to_json などを使用したのだが、 他にも色々…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 https://dk521123.hatenablog.com/entry/2020/10/14/000000 の続き。 Pandas のデータフレームでちょっとした集計する実装にも かなり便利なので、メモする 目次 【１】データ集計 【２…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/02/223658 https://dk521123.hatenablog.com/entry/2021/03/31/000000 の続き。 今回は、unittest の Mock を使ってみる。 これで、ほとんど標準で単体試験ができる。 目次 【１】unittest.mock …

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 https://dk521123.hatenablog.com/entry/2020/11/01/000000 https://dk521123.hatenablog.com/entry/2019/10/27/100014 https://dk521123.hatenablog.com/entry/2020/10/11/000000 の続…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/02/223658 の続き。 今回は、Python標準 unittest の 基本的な機能をメモする 目次 【１】基本的なテンプレート 【２】出力値の確認 １）構文 【３】前処理・後処理 １）前処理：setUp/setUpClass…

■ はじめに map がいまいちわからなかったのでメモ。 目次 【１】map関数 【２】構文 【３】サンプル 例１：簡単な例 例２：拡張子を付加する 【１】map関数 * リストなどのイテレータなオブジェクト操作を 簡潔に書ける => って言ってもいまいちわからない…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 で、Pandas を動かそうとしたらエラーになったので その際のトラブルシューティングを記録しておく 目次 【１】エラー「ModuleNotFoundError: No module named 'pandas'」が表示 【２】…

■ はじめに 今回は、yield （イールド）について、メモする。 目次 【１】yield 【２】サンプル 例１：ループ 例２：__next__() 【１】yield cf. yield = 生む、引き起こす、明け渡す、譲渡する 以下のサイトで言っている return との対比が理解しやすいかも…

■ はじめに https://dk521123.hatenablog.com/entry/2020/11/18/000000 の続き。 AWS Glue で、Excel ファイルを開いて、 CSVに変換する必要が出てきたので、メモ。 なお、AWS Glue環境下でのExcel ファイルを扱うことに関しては 以下の関連記事を参照のこと…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/02/223658 https://dk521123.hatenablog.com/entry/2020/01/19/000000 https://dk521123.hatenablog.com/entry/2020/01/20/221014 の続き。 今回は、AWS Glue の 単体試験を調べている際に gluepy…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/17/225829 https://dk521123.hatenablog.com/entry/2020/11/21/000000 の続き。 試験を受けてみて、反省点などをメモ。 目次 【０】試験について 【１】試験前・当日について 【２】分からなかっ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/02/233902 https://dk521123.hatenablog.com/entry/2020/03/08/113356 https://dk521123.hatenablog.com/entry/2020/07/04/000000 https://dk521123.hatenablog.com/entry/2020/04/25/174503 の続…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/17/225829 で、Python の資格について調べた。 その中で、Python 3 エンジニア認定基礎試験 を 今年中に受けるので、内容や情報を纏めておく。 受験の意気込み Python を業務で携わって、1年を超…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/05/221010 の続き。 今回は、Pandas で Excel を扱う際のメモ。 目次 【０】使用上の注意 【１】読み込み 【２】書き込み 【Z】応用編 例１：複数Excelファイル読み込んで、商品ごとの売上データ…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 https://dk521123.hatenablog.com/entry/2020/04/06/235555 https://dk521123.hatenablog.com/entry/2020/10/14/000000 の続き。 今回は、Pandas を使ったCSVの扱いについて取り上げる…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/17/225829 の Python の資格勉強で、 スライスに関する理解がいまいちだったので まとめてみる。 ■ スライス * シーケンス型オブジェクト(※)を指定した箇所で切り取って コピーを返してくれる機能…

■ はじめに https://dk521123.hatenablog.com/entry/2011/03/29/234236 のように .NET の タプルのような機能を Python で探していたら namedtuple （名前付きタプル）に検索に引っかかったので調べてみた ■ namedtuple 公式サイト https://docs.python.org/…

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/22/000000 の続き。 関数の記事が長くなったので、整理して分冊。 また、Pythonの資格の問題ででてきた デフォルト引数の注意点などを記録。 目次 【０】関数の実体について 【１】デフォルト引数…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 の続き。 リストの記事が長くなったので、整理して分冊。 また、Pythonの資格の問題ででてきたスライスなど あまり使っていなかったものを整理。 Python に関する資格 https://dk521123…

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/01/000000 の続き。 今回は、より実践的なサンプル集。 目次 【１】電話番号を判定 【２】名前から姓名を抽出 【３】パターンと一致しているファイル名かどうか判定 【４】JDBCの各パーツの抽出 …

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 https://dk521123.hatenablog.com/entry/2020/04/06/235555 の続き。 データ解析支援ライブラリ Pandas の簡単なサンプル集をまとめておく 目次 【１】基本構文 １）初期化 ２）空判定 …

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/084943 https://dk521123.hatenablog.com/entry/2019/10/27/100014 の続き。 今回は、ディクショナリ(辞書) (Dictionary) の操作をまとめる。 目次 【１】マッピング 【２】zip : リスト型（li…