■ はじめに 調査で、 pigz (ピグズ？) ってのがあったので調べてみた。 目次 【１】pigz 【２】公式サイト 【３】インストールされているか確認 【４】コマンド例 【５】使用上の注意 【１】pigz * 並列（マルチコア）で 動く圧縮・解凍ツール => 標準の場合…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 https://dk521123.hatenablog.com/entry/2021/06/07/164858 の続き。 find() って文字列比較で使っているコードをみて、 あんまり使ったことなかったので、調べてみた。 （調べた結果、…

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/07/24/233012 の続き。 Apache Airflow の基本的な構成などをメモしておく。 目次 【１】Airflow の基本構成 １）Web Server ２）Schedule…

■ はじめに Pandas の apply() と transform() について、 触れる機会があったので、メモしておく。 目次 【１】apply() 【２】transform() 【１】apply() * 行全体や列全体に対して、同じ操作をしたいときに使用する API https://pandas.pydata.org/pandas-…

■ はじめに Pandas の データフレームの結合に関してメモっておく。 目次 【１】pd.concat() １）オプション a) index：連結方向の指定 ２）サンプル ３）参考文献 【２】pd.merge() １）オプション a) how：結合方法を指定 b) on, left_on, right_on : キー…

■ はじめに データフレームに関する基本的な操作をまとめておく。 目次 【１】データフレームを生成する 【２】データをループする 例１：itertuples() を使う 例２：iterrows() を使う 例３：dict にしてからループ 【３】データをフィルタリングする 使用…

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 の続き。 今回は、Apache Airflow に関する Hello world的なことを行ってみる。 目次 【１】参考になるサイト 【２】サンプル 【３】実行コマンド １）コードの確認 ２）DAGの確認 ３）…

■ はじめに Redshift で、S3上のデータを COPYコマンドを使って ロードしているコードがあったので、メモしておく。 なお、COPYコマンドの使用例は、以下の関連記事を参照のこと。 Hiveテーブルデータ を Redshift に移行するには https://dk521123.hatenabl…

■ はじめに Amazon Managed Workflows for Apache Airflow (MWAA) っていう AWSサービスがあるのだが、その元となっている Apache Airflow を 気軽に触ってみたいので、ローカル上に環境を構築してみる 目次 【１】Apache Airflow 【２】環境構築する上での…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/29/221207 の続き。 AWS Glue の 開始トリガで、新しいタイプ「EventBridgeイベント」が 2021/07/15頃 にリリースされたらしいので、メモしておく。 https://aws.amazon.com/jp/about-aws/whats-n…

■ はじめに Linux系のWebセミナーを参加した際に、 学習用クラウドサービス「katacoda （カタコダ）」 について、扱ってたので、メモしておく 目次 【１】katacoda （カタコダ） １）使用上の注意 ２）詳細（その他参考サイト） 【２】メモ（個人的な感想な…

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/09/115553 などで、シェルを使う機会があり、引数を使って もう少しきれいに書けるので、メモ。 目次 【１】引数を取得する 例１：引数を変数に設定 【２】引数チェック 例１：引数が3つない場合…

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/08/161406 https://dk521123.hatenablog.com/entry/2021/07/09/115553 で 外部ネットワーク が繋がらない状態で、 個別で pip install とした際に、依存するパッケージを先に 入れておかなくては…

■ はじめに Amazon EMR から Python / AWS SES により Email を送ることを考える。 なお、SESについては、以下の関連記事を参照のこと。 Amazon SES ～ Emailサービス ～ https://dk521123.hatenablog.com/entry/2017/04/28/234103 目次 【１】SES で Email …

■ はじめに Amazon EMR（外部接続不可） に wheelファイルを pip install しようとした時に エラー「Read time out」が発生したので、その際の出来事をメモする 目次 【１】概要 【２】原因 補足：問題の切り分けに使ったコマンド「--no-deps」 【３】解決案…

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/06/120134 で、パーティション付のテーブルにアクセスした際に 実ファイルがなくなっていた現象が発生していた。 この現象のそもそも原因が、ファイルを書きだすときの モード mode = overwrite …

■ はじめに 結果的には、以下のトラブルと同じような現象が発生したのだが、 色々と背景が異なるのでメモしておく。 EMR / DBアクセス に関するトラブルシューティング https://dk521123.hatenablog.com/entry/2021/06/17/114611 目次 【１】現象 【２】エラ…

■ はじめに Pandas を扱う機会があって、Excel を扱った際に エラーが連チャンで発生したので、メモっておく。 目次 【１】エラー「Missing optional dependency 'xlrd'」が表示 【２】エラー「Excel xlsx file; not supported」が表示 【１】エラー「Missin…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/09/001342 で、pip の分量が多くなったので、分冊。 目次 【１】pip 【２】環境構築 １）pip 自体のインストール ２）pip の更新 【３】pip によるインストール 【４】インストール済みパッケージ…

■ はじめに Airflow をインストールしようと思ったら 「ImportError: cannot import name 'ClassVar'」って エラーが出てきて、原因を調べたら Pythonを upgrade する必要があった。 ただ、結構面倒だったので、メモしておく。 目次 【１】設定環境 【２】手…