2019-11-01から1ヶ月間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、トリガ（Trigger）について、焦点を当てる 目次 【１】トリガの種類 【２】使用上の注意 【３】Boto3 API 【４】トラブル 【１】トリガの種類 * ジョブを開始する引き…
■ はじめに PyGreSQL を使って、PostgreSQL にアクセスする。 別の方法については、以下の関連記事を参照のこと。 Python で PostgreSQL を使う ～ psycopg2編 ～ https://dk521123.hatenablog.com/entry/2020/05/06/141029 目次 【１】環境設定 ０）設定環…
■ はじめに 列挙型（Enum）を好んで使うのだが Python では、どうなんだと思い、調べてみた (あんまりメジャーじゃなさげ) 目次 【１】Enum 【２】サンプル 例１：Enumの定義 例２：文字列 例３：Enumのループ 【１】Enum https://docs.python.org/ja/3/libr…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 の続き。 今回は、「Hive / HiveQL」を扱う。 目次 【１】Hive 【２】HiveQL (ハイブキューエル) 【３】関連用語 １）パーティション（Partition） ２）メタストア (Metastore) ３）メ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/14/221126 https://dk521123.hatenablog.com/entry/2021/04/03/004254 の続き。 今回は、PySpark で CSV を扱う。 補足 エスケープされた区切り文字が含んだデータを扱う場合は 以下の関連記事を…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/22/223043 で、sedコマンドを扱ったがかなり深いので、記事を分けた。 以下の動画で勉強するといいかも。 動画 https://dotinstall.com/lessons/basic_sed 目次 【１】sedコマンド 【２】Hello wo…
■ はじめに シェルでテキスト加工するコマンドは、以下の通り。 １）awkコマンド ２）sedコマンド ３）bashによる文字列置換 などなど、、、 で、今回は、「１）awkコマンド」を扱う その他のコマンドは、以下の関連記事を参照のこと sedコマンド https://dk…
■ はじめに PowerPoint でも作れるが、よさげなものがあったのでメモ 目次 【１】 Draw.io / draw.io Desktop ... 無料 【２】 LucidChart ... 有料 (無料トライアルはある) 【１】 Draw.io / draw.io Desktop * フリーで使える １）Draw.io * インストール…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、ジョブ（Job）について、焦点を当てる 目次 【１】ジョブ（Job） 【２】ジョブタイプ １）Spark ２）Python shell ３）Spark Streaming 【３】ジョブプロパティ 【４…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 で、Windows環境でSparkを設定したが、 今回は、その続きで、PySparkの環境設定を行う 目次 【１】前提条件 【２】設定環境 【３】PySparkの設定 【４】サンプル １）動作確認用・Hello…
■ はじめに https://dk521123.hatenablog.com/entry/2017/02/19/121008 で、DynamoDBを調査したが、AWSに接続しなくても、 DynamoDB を使用した開発できる DynamoDB Local について 調べてみた (これは助かる) ■ 特徴 * Windows、Linux、Mac OS Xで設定可能 …
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/14/010524 https://dk521123.hatenablog.com/entry/2019/12/16/231149 の続き。 今回は、ローカル上にAWS Glue環境を作る。 以下の公式サイトを参考になる。 公式サイト https://docs.aws.amazon.…
■ はじめに Python のパッケージ管理のアーカイブについて、学ぶ 目次 【１】wheel 【２】egg 【３】wheel / egg の作成 【１】wheel * 実態はZIPでアーカイブ * PEP427で定義 【２】egg * 実態はZIPでアーカイブ wheelとの違い 以下を参照のこと https://py…
■ はじめに AWS Glue の Python shell で、Excelを扱おうとしたが、 はまったので、メモ。 PySpark (Glue 2.0) での Excel の扱いは、以下の関連記事を参照のこと。 AWS Glue ～ Excelを扱うには / PySpark (Glue2.0) 版 ～ https://dk521123.hatenablog.com…
■ はじめに Pythonでの CSV の扱い方について、学ぶ 目次 【１】csv モジュールを使う 【２】pandas を使う 【３】Dask を使う 【AA】CSVあれこれ 【ZZ】トラブル 【１】csv モジュールを使う 例１：csv を読み込む import csv with open('hello.csv', 'r') …
■ はじめに 関数アノテーション について、調べてみた ■ 関数アノテーション * PEP 3107 -- Function Annotations (※PEP : Python Enhancement Proposals) * From Python 3.0 ■ サンプル def add_person(name: str, is_male: bool = True) -> bool: # 実装 r…
■ はじめに Python で Excel を扱う方法をメモ。 ■ Excel を取り扱うためのライブラリ 【１】xlrd / xlwt 【２】Pandas 【３】OpenPyXL 【４】xlwings 【５】PyXLL 【１】xlrd / xlwt xlrd：読み込み用 xlwt：書き込み用 【２】Pandas 詳細は、以下の関連記…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 では、Apache Spark を Windows に設定したが 今回は、 Linux (CentOS8) で行う。 ■ 環境 OS : CentOS8 Java : OpenJDK 1.8.0 232 Apache Spark : spark v2.4.4 ■ 手順 【１】Java を設…
