Python
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/20/230323 https://dk521123.hatenablog.com/entry/2019/10/24/000000 の続き。 VS CodeでPythonを使う上で便利な拡張機能、 特に、Python で PEP8フォーマット や Docstring に対応できるように…
■ はじめに 前々からやってみたかった画像認識をやってみたくて勉強してたのだが いい動画をみつけた。 こちらの動画では、OpenCV を使っているので、環境設定も含めて、まとめる。 勉強になった動画 https://www.youtube.com/watch?v=WSTyoaK6dPU&list=PL1P…
■ はじめに Python の 音声分析ライブラリ 「LibROSA （リブロサ）」をメモ。 目次 【１】環境設定 【２】サンプル 例１：音声波形描画 例２：音声の特徴量を抽出する 【１】環境設定 pip pip install librosa Anaconda環境 conda install -c anaconda cffi …
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/05/221010 PythonでExcel を扱う機会があって 簡単にできたので、メモっとく なお、使用するライブラリは、OpenPyXL。 目次 【１】環境設定 【２】サンプル 例１：Hello world 例２：新しいシート…
■ はじめに if 文などの条件分岐について、学ぶ。 Java や他のプログラムと比較すると、 switch文がないなどかなり違う点がある。 目次 【１】if文 １）ifのみ ２）if / elif / else 【２】比較演算子「and / or / not」 【３】三項演算子 【４】in / not in…
■ はじめに https://dk521123.hatenablog.com/entry/2020/07/05/000000 の続き。 今回は、畳み込みニューラルネットワーク（CNN）について、扱う。 ■ サンプル 例１：SRCNN(Super-Resolution Convolutional Neural Network) => 超解像 畳み込みニューラルネ…
■ はじめに ディープラーニングライブラリ である PyTorch（パイトーチ）について学ぶ 目次 【１】環境設定 【２】関連用語 １）確率的勾配降下法(SGC) 【３】サンプル 例１：偏微分 例２：勾配降下法 例３：確率的勾配降下法(SGC) 例４：ニューラルネットワ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/02/233902 https://dk521123.hatenablog.com/entry/2020/03/08/113356 https://dk521123.hatenablog.com/entry/2020/04/04/021413 の続き。 今回は、scikit-learn で 線形回帰（Linear Regression…
■ はじめに https://dk521123.hatenablog.com/entry/2018/02/16/103500 https://dk521123.hatenablog.com/entry/2018/02/17/102927 の続き。 今回は、 TensorFlow を簡単な部分を扱う。 ■ 使用上の注意 TensorFlow で、Version1.X系 と 2.X系 で少し異なる。…
■ はじめに Python で、メモリエラー（MemoryError）に関して 少しずつだが、まとめてみる 目次 【１】メモリリークに関する調査 【２】メモリリークに関する解決案 【１】メモリリークに関する調査 １）tracemalloc ２）memory_profiler ３）objgraph ４）H…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/24/000000 などで、Pythonの環境設定した際に起こったトラブルについて 解決案などを少しづつまとめていく 目次 【１】anaconda でPythonのダウングレードしようとした際にエラー「Solving enviro…
■ はじめに Python で 文字コード関連のエラーを纏めておく。 目次 【１】デコード時にエラー「UnicodeDecodeError」で落ちる 【１】デコード時にエラー「UnicodeDecodeError」で落ちる 以下のコードから例外エラー「UnicodeDecodeError」で落ちる コード一…
■ はじめに 文字コードの自動判定する chardet についてのメモ。 ■ 公式サイト https://pypi.org/project/chardet/ ■ インストール conda install chardet ■ 使用上の注意 * 判定できない場合がある（「'encoding': None」） * 必ずしも 100% ではない => 誤…
■ はじめに スクレイピング （scraping）を扱っている動画があって 簡単そうだったので、メモ。 ■ Beautiful Soup 4 スクレイピングについては、Beautiful Soup 4を使う。 インストール conda install beautifulsoup4 ■ サンプル 例１：Hello world 例２：J1…
■ はじめに Python の 並行 / 並列処理(※)について、学ぶ。 ※ 並列処理 について 別のCPUコアの 別のpythonプロセスで 複数の処理を同時に行う ■ Python での並列処理 https://docs.python.org/ja/3/library/concurrency.html より抜粋 ～～～～ 【１】multi…
■ はじめに https://dk521123.hatenablog.com/entry/2020/05/20/195621 で、デコレータについて触れた。 Python のコードの幅が広がりそうなので、メモっておく。 目次 【１】デコレータ １）使いどころ 【２】Python標準のデコレータ 【３】サンプル 例１：…
■ はじめに 文字列をスクリプトとして実行する eval, exec について扱う どちらも組み込み関数に分類されるメソッド。 https://docs.python.org/ja/3.6/library/functions.html 個人的な感想 コードが追いづらくなるから、 無暗には使わないでほしい、、、 …
■ はじめに https://dk521123.hatenablog.com/entry/2020/05/08/175525 の続き。 今回は、「実装案２：オーソドックスにInsertする」を行う。 ■ 実行メソッドについて 実行メソッドの候補として、以下がある。 １）executemany() ← パフォーマンスがいまいち…
■ はじめに Pythonコードにより、CSVファイルを入力データとして、 PostgreSQLに対してデータをInsertする なお、PostgreSQLライブラリについては、 以下の関連記事の「psycopg2」を使う Python で PostgreSQL を使う ～ psycopg2編 ～ https://dk521123.hat…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/27/000316 の続き。 以下の関連記事で ローカル環境に Postgre の SSL設定をしたのだが SSL接続する際に、psycopg2を使ったのでメモ。 https://dk521123.hatenablog.com/entry/2020/05/05/221239 …
■ はじめに https://dk521123.hatenablog.com/entry/2020/04/01/000000 で扱ったブロックチェーンの技術として使用されるハッシュについて扱う 目次 【１】ハッシュについて 【２】サンプル 例１：Hello world 例２：Login with Salt & Stretching 例３：Log…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/02/233902 https://dk521123.hatenablog.com/entry/2020/03/08/113356 https://dk521123.hatenablog.com/entry/2020/04/04/021413 https://dk521123.hatenablog.com/entry/2020/07/04/000000 の続…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 の続き。 データ解析をする際に、Pandas で 欠損データやデータのクレンジングの扱い方をメモする。 目次 【１】 欠損データの確認 【２】 欠損データを削除 【３】 欠損データをほかの…
■ はじめに 以下の関連記事で扱ったSchoo（スクー） https://dk521123.hatenablog.com/entry/2020/02/29/003619 の講義で決定木 / ランダムフォレストを勉強する機会が あったのでメモ。 ちなみに、講師の方は以下のブログの方だと思うが 分かりやすかった h…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/02/233902 の続き。 YouTube で機械学習(Machine Learnig; ML)を 勉強できるいい感じ動画があったのでメモ。 （英語なので、ついでに英語の勉強もできる） 教材（動画） 全10回あるみたい。 はじ…
■ はじめに https://dk521123.hatenablog.com/entry/2018/03/28/224532 の続き。 今回は、scikit-learn（サイキット・ラーン）を 少しづつでも学んでいく 今回の学べること A）scikit-learn 使い方/環境設定 B）以下の機械学習の手法 １）ホールドアウト法 …
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/08/113356 を書く際に、ちょこちょこでてきた Matplotlib について 取り上げる 目次 【１】Matplotlib 【２】グラフの種類 【３】動画 【４】環境設定 【５】サンプル 例１：Hello world - シグモ…
■ はじめに https://docs.python.org/ja/3/tutorial/venv.html#managing-packages-with-pip で「12章 仮想環境とパッケージ」の 仮想環境があいまいだったので、まとめる 資格「Python 3 エンジニア認定基礎試験」の出題範囲にもなっている。 ■ 導入 Python…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/09/001342 で触れた egg / wheel について、 実際に Hello world的なことをやる。 後日談 当初は、EGGファイルだけの記事だけだったが https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/24/000000 で扱ったPython コードのチェックするための flake8 はコマンドベースで起動できるらしい。 以下の関連記事で扱ったCodeBuild https://dk521123.hatenablog.com/entry/2020/01/21/22112…
