2019-01-01から1年間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/28/021109 で、Hive を設定する際に、多くのサイトが Derby を多く使っていたので、調べてみた。 ■ Apache Derby（アパッチ・ダービー） * フリーの軽量DB（Apache Software License 2.0） * Java…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 の続き。 やっとこ、Apache Hadoop on Windows が終わったので 今度は、Hive環境を構築する ■ 設定環境 DBについては、サポートされているDB（※）から 選択すればいいが、今回は、Derby…
■ はじめに Windows 上に Hive（ハイヴ）環境を作りたいのだが Hadoop が前提条件としてあるので、 まずは、Windows 上に Hadoop を入れてみる 注意点 現状（2019/12/27）、2点。 １）Hadoop v3.2.1 について Hadoop v3.2.1 は問題がある模様。 実際に「hdfs…
■ はじめに Git / Github でのトラブルについて、まとめる 目次 【１】トラブル内容 Case1 : Windows のパスワードを変更したがGitにアクセスに失敗 Case2 : Gitのパスワードを間違ってキャッシュに残ってアクセスに失敗 【２】解決案 【３】詳細手順 【１】…
■ はじめに Python を始めたので、資格がどういうのあるのかなーって ふと思ったので、メモ。 目次 【１】Pythonエンジニア認定試験（日本） １）PythonZen & PEP 8 検定試験 ２） Python 3 エンジニア認定基礎試験 ３） Python 3 エンジニア認定データ分析…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/14/010524 の続き。長くなったので、分割。 今回は、ローカル上に疑似AWS Lambda 環境を作る。 また、S3, DynamoDBも扱ってみる。 目次 【１】ローカル上にAWS Lambda 環境を作る １）ローカル上…
■ はじめに プルリクエストで、レビューしたり、されたりして そん時のことをメモする 目次 【１】プルリクエスト（pull request） 【２】プルリクエスト の手順 １）プルリクエスト作成 ２）レビューアとしてコメントを残す ３）指摘箇所修正後、レビューア…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/10/205535 などで使う LocalStack を学び、 ローカルで、疑似AWS（今回「AWS Lambda」）を作成する。 目次 【１】LocalStack とは？ １）サポートしているAWSサービス ２）全体構成 【２】設定環…
■ はじめに Ubuntu に関するトラブルを纏める 【１】sudo apt upgrade したらエラー sudo apt upgrade しても、 以下のエラーで更新できない。 sudo apt update もできない。 エラー内容 E: Could not get lock /var/lib/dpkg/lock - open (11 Resource temp…
■ はじめに Pythonで、グローバル変数（global variables）を扱ったのでメモ。 ただ、あんまり使いたくない、、、 それと、nonlocal ってのもあるらしいので、これもメモ。 目次 【１】global 例：global宣言 【２】nonlocal 例 Case１：nonlocal宣言を使わ…
■ はじめに Java / C# のジェネリックを使ったコードを、 Pythonで書きたかったので、調べてみた。 ■ サンプル 例１、例２いずれも実行できてしまう 例１ from typing import List value_list: List[str] = [] value_list.append("Hello") value_list.append…
■ はじめに Terraform （テラフォーム）について、学ぶ。 目次 【１】Terraform １）使用言語 ２）サポートOS 【２】Core Terraform Workflow １）Write ２）Plan ３）Apply 【３】主なTerraformコマンド一覧 【４】その他の便利コマンド一覧 １）terraform …
■ はじめに 今まで何となくしか分からなかった VPC (Virtual Private Cloud) について コツコツと少しづつまとめてみる 目次 【０】動画 １）AWS公式 ２）その他 【１】VPC (Virtual Private Cloud) 【２】サブネット １）プライベートサブネット ２）パブリ…
■ はじめに Git でファイル移動した際にはまった点があったので そのことも含めてメモ。 目次 【１】mvコマンド 【２】rmコマンド 【３】使用上の注意 １）空白が含まれている場合 【３】トラブル 【１】mvコマンド * ファイル移動 * 必要時には『mkdir -p […
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/21/230004 の続き。 今回は、list_objects_v2 の 使用上の注意 を扱う 目次 【１】デフォルト だと 1000件ずつ取得する ０）Paginators について １）サンプル 【２】配下のフォルダ・ファイル全…
■ はじめに Aurora に、Pythonからアクセスするのに、 Data API ってのが使えるらしく、それがあると Auroraが、MySQL互換だろうと、PostgreSQL互換だろうと アクセスできるらしいので、調べてみた 公式サイト https://docs.aws.amazon.com/ja_jp/AmazonRDS/…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、クローラ（Crawler）について、焦点を当てる 目次 【１】クローラ（Crawler） 【２】用語整理 １）データストア（データソース / データターゲット） ２）データカタ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、トリガ（Trigger）について、焦点を当てる 目次 【１】トリガの種類 【２】使用上の注意 【３】Boto3 API 【４】トラブル 【１】トリガの種類 * ジョブを開始する引き…
■ はじめに PyGreSQL を使って、PostgreSQL にアクセスする。 別の方法については、以下の関連記事を参照のこと。 Python で PostgreSQL を使う ～ psycopg2編 ～ https://dk521123.hatenablog.com/entry/2020/05/06/141029 目次 【１】環境設定 ０）設定環…
■ はじめに 列挙型（Enum）を好んで使うのだが Python では、どうなんだと思い、調べてみた (あんまりメジャーじゃなさげ) 目次 【１】Enum 【２】サンプル 例１：Enumの定義 例２：文字列 例３：Enumのループ 【１】Enum https://docs.python.org/ja/3/libr…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 の続き。 今回は、「Hive / HiveQL」を扱う。 目次 【１】Hive 【２】HiveQL (ハイブキューエル) 【３】関連用語 １）パーティション（Partition） ２）メタストア (Metastore) ３）メ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/14/221126 https://dk521123.hatenablog.com/entry/2021/04/03/004254 の続き。 今回は、PySpark で CSV を扱う。 補足 エスケープされた区切り文字が含んだデータを扱う場合は 以下の関連記事を…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/22/223043 で、sedコマンドを扱ったがかなり深いので、記事を分けた。 以下の動画で勉強するといいかも。 動画 https://dotinstall.com/lessons/basic_sed 目次 【１】sedコマンド 【２】Hello wo…
■ はじめに シェルでテキスト加工するコマンドは、以下の通り。 １）awkコマンド ２）sedコマンド ３）bashによる文字列置換 などなど、、、 で、今回は、「１）awkコマンド」を扱う その他のコマンドは、以下の関連記事を参照のこと sedコマンド https://dk…
■ はじめに PowerPoint でも作れるが、よさげなものがあったのでメモ 目次 【１】 Draw.io / draw.io Desktop ... 無料 【２】 LucidChart ... 有料 (無料トライアルはある) 【１】 Draw.io / draw.io Desktop * フリーで使える １）Draw.io * インストール…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、ジョブ（Job）について、焦点を当てる 目次 【１】ジョブ（Job） 【２】ジョブタイプ １）Spark ２）Python shell ３）Spark Streaming 【３】ジョブプロパティ 【４…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 で、Windows環境でSparkを設定したが、 今回は、その続きで、PySparkの環境設定を行う 目次 【１】前提条件 【２】設定環境 【３】PySparkの設定 【４】サンプル １）動作確認用・Hello…
■ はじめに https://dk521123.hatenablog.com/entry/2017/02/19/121008 で、DynamoDBを調査したが、AWSに接続しなくても、 DynamoDB を使用した開発できる DynamoDB Local について 調べてみた (これは助かる) ■ 特徴 * Windows、Linux、Mac OS Xで設定可能 …
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/14/010524 https://dk521123.hatenablog.com/entry/2019/12/16/231149 の続き。 今回は、ローカル上にAWS Glue環境を作る。 以下の公式サイトを参考になる。 公式サイト https://docs.aws.amazon.…
■ はじめに Python のパッケージ管理のアーカイブについて、学ぶ 目次 【１】wheel 【２】egg 【３】wheel / egg の作成 【１】wheel * 実態はZIPでアーカイブ * PEP427で定義 【２】egg * 実態はZIPでアーカイブ wheelとの違い 以下を参照のこと https://py…
