■ はじめに https://dk521123.hatenablog.com/entry/2019/12/28/021109 で、Hive を設定する際に、多くのサイトが Derby を多く使っていたので、調べてみた。 ■ Apache Derby（アパッチ・ダービー） * フリーの軽量DB（Apache Software License 2.0） * Java…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 の続き。 やっとこ、Apache Hadoop on Windows が終わったので 今度は、Hive環境を構築する ■ 設定環境 DBについては、サポートされているDB（※）から 選択すればいいが、今回は、Derby…

■ はじめに Windows 上に Hive（ハイヴ）環境を作りたいのだが Hadoop が前提条件としてあるので、 まずは、Windows 上に Hadoop を入れてみる 注意点 現状（2019/12/27）、2点。 １）Hadoop v3.2.1 について Hadoop v3.2.1 は問題がある模様。 実際に「hdfs…

■ はじめに Git / Github でのトラブルについて、まとめる 目次 【１】トラブル内容 Case1 : Windows のパスワードを変更したがGitにアクセスに失敗 Case2 : Gitのパスワードを間違ってキャッシュに残ってアクセスに失敗 【２】解決案 【３】詳細手順 【１】…

■ はじめに Python を始めたので、資格がどういうのあるのかなーって ふと思ったので、メモ。 目次 【１】Pythonエンジニア認定試験（日本） １）PythonZen & PEP 8 検定試験 ２） Python 3 エンジニア認定基礎試験 ３） Python 3 エンジニア認定データ分析…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/14/010524 の続き。長くなったので、分割。 今回は、ローカル上に疑似AWS Lambda 環境を作る。 また、S3, DynamoDBも扱ってみる。 目次 【１】ローカル上にAWS Lambda 環境を作る １）ローカル上…

■ はじめに プルリクエストで、レビューしたり、されたりして そん時のことをメモする 目次 【１】プルリクエスト（pull request） 【２】プルリクエスト の手順 １）プルリクエスト作成 ２）レビューアとしてコメントを残す ３）指摘箇所修正後、レビューア…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/10/205535 などで使う LocalStack を学び、 ローカルで、疑似AWS（今回「AWS Lambda」）を作成する。 目次 【１】LocalStack とは？ １）サポートしているAWSサービス ２）全体構成 【２】設定環…

■ はじめに Ubuntu に関するトラブルを纏める 【１】sudo apt upgrade したらエラー sudo apt upgrade しても、 以下のエラーで更新できない。 sudo apt update もできない。 エラー内容 E: Could not get lock /var/lib/dpkg/lock - open (11 Resource temp…

■ はじめに Pythonで、グローバル変数（global variables）を扱ったのでメモ。 ただ、あんまり使いたくない、、、 それと、nonlocal ってのもあるらしいので、これもメモ。 目次 【１】global 例：global宣言 【２】nonlocal 例 Case１：nonlocal宣言を使わ…

■ はじめに Java / C# のジェネリックを使ったコードを、 Pythonで書きたかったので、調べてみた。 ■ サンプル 例１、例２いずれも実行できてしまう 例１ from typing import List value_list: List[str] = [] value_list.append("Hello") value_list.append…

■ はじめに Terraform （テラフォーム）について、学ぶ。 目次 【１】Terraform １）使用言語 ２）サポートOS 【２】Core Terraform Workflow １）Write ２）Plan ３）Apply 【３】主なTerraformコマンド一覧 【４】その他の便利コマンド一覧 １）terraform …

■ はじめに 今まで何となくしか分からなかった VPC (Virtual Private Cloud) について コツコツと少しづつまとめてみる 目次 【０】動画 １）AWS公式 ２）その他 【１】VPC (Virtual Private Cloud) 【２】サブネット １）プライベートサブネット ２）パブリ…

■ はじめに Git でファイル移動した際にはまった点があったので そのことも含めてメモ。 目次 【１】mvコマンド 【２】rmコマンド 【３】使用上の注意 １）空白が含まれている場合 【３】トラブル 【１】mvコマンド * ファイル移動 * 必要時には『mkdir -p […

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/21/230004 の続き。 今回は、list_objects_v2 の 使用上の注意 を扱う 使用上の注意 【１】1000件ずつ取得する 【２】配下のフォルダ・ファイル全てを取得してしまう 【３】prefix で「xxxx/」と…

■ はじめに Aurora に、Pythonからアクセスするのに、 Data API ってのが使えるらしく、それがあると Auroraが、MySQL互換だろうと、PostgreSQL互換だろうと アクセスできるらしいので、調べてみた 公式サイト https://docs.aws.amazon.com/ja_jp/AmazonRDS/…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、クローラ（Crawler）について、焦点を当てる 目次 【１】クローラ（Crawler） 【２】用語整理 １）データストア（データソース / データターゲット） ２）データカタ…