2020-02-01から1ヶ月間の記事一覧

IT技術の学習サイト

■ はじめに 登録は必要だが、 無料枠でも結構勉強できるIT技術の学習サイトをまとめる ■ 主なサイト 【1】ドットインストール 【2】paiza(パイザ) 【3】Progate(プロゲート) 【4】Aidemy(アイデミー) 【5】Codexa(コデクサ) 【6】Schoo(スク…

【AWS】KMS ~ 入門編 ~

AWS

■ はじめに 色々なAWSサービスをセキュアに使うために必要な AWS Key Management Service (KMS) について、メモ。 目次 【1】AWSの鍵管理サービス 【2】KMS(Key Management Service) 1)主な機能 2)キーのタイプ 【3】使用上の注意 【4】キーの作成…

【Hive】Hive / HiveQL ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/28/021109 https://dk521123.hatenablog.com/entry/2020/01/02/000000 https://dk521123.hatenablog.com/entry/2019/11/25/235219 で、Hive の環境設定を行った。 今回は、HiveQL の Hello World …

【Unity】 Unity ~ 基本編 / スクリプト ~

■ はじめに https://dk521123.hatenablog.com/entry/2018/10/14/113600 の続き。だいぶ前に挫折した Unity。 携帯ゲームだけでなく、VRのインターフェイスでも使えるので 勉強を徐々に再開してみた で、以下の動画は無料枠でUnity の基礎が学べる。 今回は、…

【AWS】Amazon Redshift ~ 入門編 ~

AWS

■ はじめに Amazon Redshift について、徐々にメモっていく 目次 【1】Amazon Redshift 【2】特徴 【3】メリット・デメリット 1)メリット 2)デメリット 【4】他DB・サービスとの違い 【5】Redshift の システム構成 1)Redshiftクラスタ 2)シス…

【AWS】Amazon EMR ~ 入門編 ~

AWS

■ はじめに Amazon EMR について、徐々にメモっていく 目次 【1】Amazon EMR (Elastic MapReduce) 【2】EMRのアーキテクチャ 1)マスタノード 2)コアノード 3)タスクノード 注意点 【3】分散処理基盤としてのEMR 1)EMRFS (EMR File System) 【4】…

【AWS】CodeBuild で Python のバージョンを切り替える

AWS

■ はじめに AWS CodeBuild で管理されるDocker イメージのPython バージョンは 固定されている。(以下の公式サイトを参照) https://docs.aws.amazon.com/ja_jp/codebuild/latest/userguide/build-env-ref-available.html しかし、Python2.X系の開発 や Doc…

【AWS】CodeBuild で パラメータストア / Secrets Manager を使う

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/31/231636 で取り上げたパラメータストア / Secrets Managerを CodeBuild 上で使う 公式サイト https://docs.aws.amazon.com/ja_jp/codebuild/latest/userguide/build-spec-ref.html#build-spec-r…

【AWS】CodeBuildに flake8 を組み込む

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 の続き、 今回は、AWS CodeBuild で flake8 を組み込む。 ■ 注意点 flake8 は、規約違反があった場合に、Exit code = 1 を返す。 AWS CodeBuildに組み込んだ場合、 一件でも規約違反が…

【Python】仮想環境 ~ virtualenv / venv / pipenv ~

■ はじめに https://docs.python.org/ja/3/tutorial/venv.html#managing-packages-with-pip で「12章 仮想環境とパッケージ」の 仮想環境があいまいだったので、まとめる 資格「Python 3 エンジニア認定基礎試験」の出題範囲にもなっている。 ■ 導入 Python…

【Python】egg / wheel ファイルを作成する

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/09/001342 で触れた egg / wheel について、 実際に Hello world的なことをやる。 後日談 当初は、EGGファイルだけの記事だけだったが https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job…

【PostgreSQL】psql で CSV出力する

■ はじめに PostgreSQLへの更新処理に関する単体試験のエビデンスとして、 CSV出力したいなっと思って調べてみたことをメモ。 目次 案1:COPYコマンドを利用する 案2:-cオプション + SELECT文 を利用する 番外編:DBクライアントソフトを使う ■ 案1:COP…

【Python】flake8 ~ Pythonコードチェック ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/24/000000 で扱ったPython コードのチェックするための flake8 はコマンドベースで起動できるらしい。 以下の関連記事で扱ったCodeBuild https://dk521123.hatenablog.com/entry/2020/01/21/22112…

【トラブル】【AWS】boto3 AWS Glue API のトラブル ~ job/crawler編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/16/205331 の続き。 boto3 AWS Glue API のトラブル の長くなったので、分冊。 目次 【1】create_Job()で例外「AccessDeniedException」が発生する 【2】create_crawler() / update_crawler() …

【Unity】 Unity ~ 基本編 / シーン切替 ~

■ はじめに https://dk521123.hatenablog.com/entry/2018/10/14/113600 https://dk521123.hatenablog.com/entry/2020/02/24/185656 の続き。 ■ サンプル MainScene ... メイン用シーン GameOverScene ... ゲームオーバー用シーン スクリプト例 BallScript : …

【Python】 Python ~ 標準ログ / Logging ~

■ サンプル 例1:簡易版 import logging import sys LOG_FORMAT = '%(asctime)s - %(name)s - %(levelname)s - %(message)s' logging.basicConfig( level=logging.INFO, stream=sys.stdout, format=LOG_FORMAT) logging.info("Start") logging.info("End") …

【Ansible】Ansible ~ インストール / ローカルでのAnsible使用 ~

■ はじめに https://dk521123.hatenablog.com/entry/2018/03/01/225732 で扱った ansible の続き。 今回の目的 [a] Ansible のインストール [b] Ansible を使って、ローカル上にApacheインストール => シンプルな構成で、かつ、やることもシンプルなので、 A…

【Linux】【Windows】jq コマンド ~ JSON を扱う ~

■ はじめに AWS CLI からのレスポンスがJSONなので そこから値を取得する必要がある。 そこで調べてみたら jqコマンド ってのがみつかったのでメモ。 目次 【1】動画 【2】環境設定 1)Linux の場合 2)Windows の場合 【3】コマンドオプション 1)-r …