IT技術の学習サイト

AI関連/機械学習/画像処理

■ はじめに登録は必要だが、無料枠でも結構勉強できるIT技術の学習サイトをまとめる ■ 主なサイト【１】ドットインストール【２】paiza（パイザ）【３】Progate（プロゲート）【４】Aidemy（アイデミー）【５】Codexa（コデクサ）【６】Schoo（スク…

2020-02-27

【AWS】KMS ～入門編～

AWS

■ はじめに色々なAWSサービスをセキュアに使うために必要な AWS Key Management Service (KMS) について、メモ。目次【１】AWSの鍵管理サービス【２】KMS（Key Management Service）１）主な機能２）キーのタイプ【３】使用上の注意【４】キーの作成…

2020-02-25

【Hive】Hive / HiveQL ～入門編～

Hive

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/28/021109 https://dk521123.hatenablog.com/entry/2020/01/02/000000 https://dk521123.hatenablog.com/entry/2019/11/25/235219 で、Hive の環境設定を行った。今回は、HiveQL の Hello World …

2020-02-24

【Unity】 Unity ～基本編 / スクリプト～

Unity

■ はじめに https://dk521123.hatenablog.com/entry/2018/10/14/113600 の続き。だいぶ前に挫折した Unity。携帯ゲームだけでなく、VRのインターフェイスでも使えるので勉強を徐々に再開してみたで、以下の動画は無料枠でUnity の基礎が学べる。今回は、…

2020-02-22

【AWS】Amazon Redshift ～入門編～

AWS

■ はじめに Amazon Redshift について、徐々にメモっていく目次【１】Amazon Redshift 【２】特徴【３】メリット・デメリット１）メリット２）デメリット【４】他DB・サービスとの違い【５】Redshift のシステム構成１）Redshiftクラスタ２）シス…

2020-02-20

【AWS】Amazon EMR ～入門編～

AWS

■ はじめに Amazon EMR について、徐々にメモっていく目次【１】Amazon EMR (Elastic MapReduce) 【２】EMRのアーキテクチャ１）マスタノード２）コアノード３）タスクノード注意点【３】分散処理基盤としてのEMR １）EMRFS (EMR File System) 【４】…

2020-02-19

【AWS】CodeBuild で Python のバージョンを切り替える

AWS

■ はじめに AWS CodeBuild で管理されるDocker イメージのPython バージョンは固定されている。（以下の公式サイトを参照） https://docs.aws.amazon.com/ja_jp/codebuild/latest/userguide/build-env-ref-available.html しかし、Python2.X系の開発や Doc…

2020-02-18

【AWS】CodeBuild でパラメータストア / Secrets Manager を使う

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/31/231636 で取り上げたパラメータストア / Secrets Managerを CodeBuild 上で使う公式サイト https://docs.aws.amazon.com/ja_jp/codebuild/latest/userguide/build-spec-ref.html#build-spec-r…

2020-02-17

【AWS】CodeBuildに flake8 を組み込む

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 の続き、今回は、AWS CodeBuild で flake8 を組み込む。 ■ 注意点 flake8 は、規約違反があった場合に、Exit code = 1 を返す。 AWS CodeBuildに組み込んだ場合、一件でも規約違反が…

2020-02-11

【Python】仮想環境～ virtualenv / venv / pipenv ～

Python

■ はじめに https://docs.python.org/ja/3/tutorial/venv.html#managing-packages-with-pip で「12章仮想環境とパッケージ」の仮想環境があいまいだったので、まとめる資格「Python 3 エンジニア認定基礎試験」の出題範囲にもなっている。 ■ 導入 Python…

2020-02-09

【Python】egg / wheel ファイルを作成する

Python

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/09/001342 で触れた egg / wheel について、実際に Hello world的なことをやる。後日談当初は、EGGファイルだけの記事だけだったが https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job…

2020-02-08

【PostgreSQL】psql で CSV出力する

PostgreSQL

■ はじめに PostgreSQLへの更新処理に関する単体試験のエビデンスとして、 CSV出力したいなっと思って調べてみたことをメモ。目次案１：COPYコマンドを利用する案２：-cオプション + SELECT文を利用する番外編：DBクライアントソフトを使う ■ 案１：COP…

2020-02-07

【Python】flake8 ～ Pythonコードチェック～

Python

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/24/000000 で扱ったPython コードのチェックするための flake8 はコマンドベースで起動できるらしい。以下の関連記事で扱ったCodeBuild https://dk521123.hatenablog.com/entry/2020/01/21/22112…

2020-02-05

【トラブル】【AWS】boto3 AWS Glue API のトラブル～ job/crawler編～

AWS トラブル

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/16/205331 の続き。 boto3 AWS Glue API のトラブルの長くなったので、分冊。目次【１】create_Job()で例外「AccessDeniedException」が発生する【２】create_crawler() / update_crawler() …

2020-02-04

【Unity】 Unity ～基本編 / シーン切替～

Unity

■ はじめに https://dk521123.hatenablog.com/entry/2018/10/14/113600 https://dk521123.hatenablog.com/entry/2020/02/24/185656 の続き。 ■ サンプル MainScene ... メイン用シーン GameOverScene ... ゲームオーバー用シーンスクリプト例 BallScript : …

2020-02-03

【Python】 Python ～標準ログ / Logging ～

Python

■ サンプル例１：簡易版 import logging import sys LOG_FORMAT = '%(asctime)s - %(name)s - %(levelname)s - %(message)s' logging.basicConfig( level=logging.INFO, stream=sys.stdout, format=LOG_FORMAT) logging.info("Start") logging.info("End") …

2020-02-02

【Ansible】Ansible ～インストール / ローカルでのAnsible使用～

Ansible

■ はじめに https://dk521123.hatenablog.com/entry/2018/03/01/225732 で扱った ansible の続き。今回の目的 [a] Ansible のインストール [b] Ansible を使って、ローカル上にApacheインストール => シンプルな構成で、かつ、やることもシンプルなので、 A…