2019-01-01から1年間の記事一覧

【Derby】Apache Derby ~ 環境設定 / Windows編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/28/021109 で、Hive を設定する際に、多くのサイトが Derby を多く使っていたので、調べてみた。 ■ Apache Derby(アパッチ・ダービー) * フリーの軽量DB(Apache Software License 2.0) * Java…

【Hive】Hive / HiveQL ~ 環境設定 / Windows編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 の続き。 やっとこ、Apache Hadoop on Windows が終わったので 今度は、Hive環境を構築する ■ 設定環境 DBについては、サポートされているDB(※)から 選択すればいいが、今回は、Derby…

【Hadoop】Hadoop ~ 環境設定 / Windows編 ~

■ はじめに Windows 上に Hive(ハイヴ)環境を作りたいのだが Hadoop が前提条件としてあるので、 まずは、Windows 上に Hadoop を入れてみる 注意点 現状(2019/12/27)、2点。 1)Hadoop v3.2.1 について Hadoop v3.2.1 は問題がある模様。 実際に「hdfs…

【トラブル】Windows上でGitの認証が通らなくなった

■ はじめに Git / Github でのトラブルについて、まとめる 目次 【1】トラブル内容 Case1 : Windows のパスワードを変更したがGitにアクセスに失敗 Case2 : Gitのパスワードを間違ってキャッシュに残ってアクセスに失敗 【2】解決案 【3】詳細手順 【1】…

【Python】Python に関する資格

■ はじめに Python を始めたので、資格がどういうのあるのかなーって ふと思ったので、メモ。 目次 【1】Pythonエンジニア認定試験(日本) 1)PythonZen & PEP 8 検定試験 2) Python 3 エンジニア認定基礎試験 3) Python 3 エンジニア認定データ分析…

【AWS】LocalStack ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/14/010524 の続き。長くなったので、分割。 今回は、ローカル上に疑似AWS Lambda 環境を作る。 また、S3, DynamoDBも扱ってみる。 目次 【1】ローカル上にAWS Lambda 環境を作る 1)ローカル上…

【Github】Github ~ Pull Request ~

■ はじめに プルリクエストで、レビューしたり、されたりして そん時のことをメモする 目次 【1】プルリクエスト(pull request) 【2】プルリクエスト の手順 1)プルリクエスト作成 2)レビューアとしてコメントを残す 3)指摘箇所修正後、レビューア…

【AWS】LocalStack ~ 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/10/205535 などで使う LocalStack を学び、 ローカルで、疑似AWS(今回「AWS Lambda」)を作成する。 目次 【1】LocalStack とは? 1)サポートしているAWSサービス 2)全体構成 【2】設定環…

【トラブル】【Linux】Ubuntu に関するトラブルシューティング

■ はじめに Ubuntu に関するトラブルを纏める 【1】sudo apt upgrade したらエラー sudo apt upgrade しても、 以下のエラーで更新できない。 sudo apt update もできない。 エラー内容 E: Could not get lock /var/lib/dpkg/lock - open (11 Resource temp…

【Python】 Python ~ 基本編 / global・nonlocal ~

■ はじめに Pythonで、グローバル変数(global variables)を扱ったのでメモ。 ただ、あんまり使いたくない、、、 それと、nonlocal ってのもあるらしいので、これもメモ。 目次 【1】global 例:global宣言 【2】nonlocal 例 Case1:nonlocal宣言を使わ…

【Python】 Python ~ 基本編 / ジェネリック ~

■ はじめに Java / C# のジェネリックを使ったコードを、 Pythonで書きたかったので、調べてみた。 ■ サンプル 例1、例2いずれも実行できてしまう 例1 from typing import List value_list: List[str] = [] value_list.append("Hello") value_list.append…

【Terraform】Terraform ~ 入門編 ~

■ はじめに Terraform (テラフォーム)について、学ぶ。 目次 【1】Terraform 1)使用言語 2)サポートOS 【2】Core Terraform Workflow 1)Write 2)Plan 3)Apply 【3】主なTerraformコマンド一覧 【4】その他の便利コマンド一覧 1)terraform …

【AWS】Amazon VPC ~ 基礎知識編 ~

AWS

■ はじめに 今まで何となくしか分からなかった VPC (Virtual Private Cloud) について コツコツと少しづつまとめてみる 目次 【0】動画 1)AWS公式 2)その他 【1】VPC (Virtual Private Cloud) 【2】サブネット 1)プライベートサブネット 2)パブリ…

【Git】 Gitコマンド ~ mv 移動 / rm 削除 ~

Git

■ はじめに Git でファイル移動した際にはまった点があったので そのことも含めてメモ。 目次 【1】mvコマンド 【2】rmコマンド 【3】使用上の注意 1)空白が含まれている場合 【3】トラブル 【1】mvコマンド * ファイル移動 * 必要時には『mkdir -p […

【AWS】boto3 API / list_objects_v2 の 使用上の注意 と その対策

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/21/230004 の続き。 今回は、list_objects_v2 の 使用上の注意 を扱う 使用上の注意 【1】1000件ずつ取得する 【2】配下のフォルダ・ファイル全てを取得してしまう 【3】prefix で「xxxx/」と…

【AWS】【Aurora】【Python】Data API について

AWS

■ はじめに Aurora に、Pythonからアクセスするのに、 Data API ってのが使えるらしく、それがあると Auroraが、MySQL互換だろうと、PostgreSQL互換だろうと アクセスできるらしいので、調べてみた 公式サイト https://docs.aws.amazon.com/ja_jp/AmazonRDS/…

【AWS】AWS Glue ~ 基本編 / クローラ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、クローラ(Crawler)について、焦点を当てる 目次 【1】クローラ(Crawler) 【2】用語整理 1)データストア(データソース / データターゲット) 2)データカタ…

【AWS】AWS Glue ~ 基本編 /トリガ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、トリガ(Trigger)について、焦点を当てる 目次 【1】トリガの種類 【2】使用上の注意 【3】Boto3 API 【4】トラブル 【1】トリガの種類 * ジョブを開始する引き…

【Python】Python で PostgreSQL を使う ~ PyGreSQL編 ~

■ はじめに PyGreSQL を使って、PostgreSQL にアクセスする。 別の方法については、以下の関連記事を参照のこと。 Python で PostgreSQL を使う ~ psycopg2編 ~ https://dk521123.hatenablog.com/entry/2020/05/06/141029 目次 【1】環境設定 0)設定環…

【Python】Python ~ 基本編 / Enum ~

■ はじめに 列挙型(Enum)を好んで使うのだが Python では、どうなんだと思い、調べてみた (あんまりメジャーじゃなさげ) 目次 【1】Enum 【2】サンプル 例1:Enumの定義 例2:文字列 例3:Enumのループ 【1】Enum https://docs.python.org/ja/3/libr…

【Hive】Hive / HiveQL ~ 基礎知識編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 の続き。 今回は、「Hive / HiveQL」を扱う。 目次 【1】Hive 【2】HiveQL (ハイブキューエル) 【3】関連用語 1)パーティション(Partition) 2)メタストア (Metastore) 3)メ…

【分散処理】PySpark ~ CSV / 基本編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/14/221126 https://dk521123.hatenablog.com/entry/2021/04/03/004254 の続き。 今回は、PySpark で CSV を扱う。 補足 エスケープされた区切り文字が含んだデータを扱う場合は 以下の関連記事を…

【Linux】sedコマンド

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/22/223043 で、sedコマンドを扱ったがかなり深いので、記事を分けた。 以下の動画で勉強するといいかも。 動画 https://dotinstall.com/lessons/basic_sed 目次 【1】sedコマンド 【2】Hello wo…

【Linux】awkコマンド

■ はじめに シェルでテキスト加工するコマンドは、以下の通り。 1)awkコマンド 2)sedコマンド 3)bashによる文字列置換 などなど、、、 で、今回は、「1)awkコマンド」を扱う その他のコマンドは、以下の関連記事を参照のこと sedコマンド https://dk…

図作成ツール / サイト ~ Draw.io(Desktop) / LucidChart ~

■ はじめに PowerPoint でも作れるが、よさげなものがあったのでメモ 目次 【1】 Draw.io / draw.io Desktop ... 無料 【2】 LucidChart ... 有料 (無料トライアルはある) 【1】 Draw.io / draw.io Desktop * フリーで使える 1)Draw.io * インストール…

【AWS】AWS Glue ~ 基本編 / ジョブ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/01/221926 の続き。 今回は、ジョブ(Job)について、焦点を当てる 目次 【1】ジョブ(Job) 【2】ジョブタイプ 1)Spark 2)Python shell 3)Spark Streaming 【3】ジョブプロパティ 【4…

【Spark】PySpark ~ 環境構築編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 で、Windows環境でSparkを設定したが、 今回は、その続きで、PySparkの環境設定を行う 目次 【1】前提条件 【2】設定環境 【3】PySparkの設定 【4】サンプル 1)動作確認用・Hello…

【AWS】Amazon DynamoDB Local

■ はじめに https://dk521123.hatenablog.com/entry/2017/02/19/121008 で、DynamoDBを調査したが、AWSに接続しなくても、 DynamoDB を使用した開発できる DynamoDB Local について 調べてみた (これは助かる) ■ 特徴 * Windows、Linux、Mac OS Xで設定可能 …

【AWS】AWS Glue ~ ローカル環境を作成する ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/14/010524 https://dk521123.hatenablog.com/entry/2019/12/16/231149 の続き。 今回は、ローカル上にAWS Glue環境を作る。 以下の公式サイトを参考になる。 公式サイト https://docs.aws.amazon.…

【Python】パッケージ管理 ~ wheel / egg ~

■ はじめに Python のパッケージ管理のアーカイブについて、学ぶ 目次 【1】wheel 【2】egg 【3】wheel / egg の作成 【1】wheel * 実態はZIPでアーカイブ * PEP427で定義 【2】egg * 実態はZIPでアーカイブ wheelとの違い 以下を参照のこと https://py…