2022-02-01から1ヶ月間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/21/230004 の続き。 今回は、 Boto3でS3上にあるファイル存在チェックについて 考えてみる。 目次 案１：list_objects_v2 を使う方法 案２：例外「ClientError：Error Code=404」を利用する方法 …
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/16/231010 で、アクセス制御で少し触れた GRANT OWNERSHIP を使って 所有者の変更したので、メモしておく 目次 【１】GRANT OWNERSHIP １）オプション「[ REVOKE | COPY ] CURRENT GRANTS」 補足…
■ はじめに Snowflake で、「show users」や「show roles」 などを 使ったので、メモしておく。 ついでに、DESCRIBE に関してもメモ。 目次 【１】SHOW <オブジェクト> １）SHOW USERS ２）SHOW ROLES ３）SHOW GRANTS ４）SHOW TABLES 【２】DESCRIBE <オブ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/02/000000 の続き。 「パスからファイル名を抜き出す」とか 「ファイル名から拡張子を抜き出す」とかを結構やることが多く なんだっけ？っていつもなるので、まとめておく 目次 【１】パス、ファ…
■ はじめに https://dk521123.hatenablog.com/entry/2022/01/14/102719 の続き。 今回は、DockerコマンドからWebサーバ（Nginx, Apache）を起動してみる。 目次 【０】今回で学べること 【１】Nginx １）nginx起動 ２）コンテナ停止 【２】Apache １）コンテ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/17/225829 https://dk521123.hatenablog.com/entry/2020/11/21/000000 https://dk521123.hatenablog.com/entry/2020/12/07/175729 の続き。 2022年4月末までにPython3エンジニア認定データ分析試…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2022/02/16/000000 で扱った pd.read_json() をテストしていたら、 意図した動作にならなかった。 原因を探っていたら、None（null）になってほしい値が Nan（非数(英語：Not a Number)）になっ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/10/10/000000 の続き。autoDocstring を分冊。 目次 【１】autoDocstring 【２】実行方法 【３】Googleスタイルに変更するには 【４】トラブル １）エラー「no such file or directory, open 'google…
■ はじめに Resource Access Manager (RAM) ってのを 触ることになったのでメモ。 目次 【１】Resource Access Manager (RAM) 【２】使用用途 【３】料金 【４】共有方式 １）AWSアカウント個別で指定 ２）Organizationsレベルで有効化 【５】サポートしてい…
■ はじめに https://dk521123.hatenablog.com/entry/2020/11/17/000000 https://dk521123.hatenablog.com/entry/2020/11/18/000000 https://dk521123.hatenablog.com/entry/2021/01/25/000000 の続き。 JSONを扱うことになったので、メモ。 目次 【１】JSON…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/25/000000 からの派生。 Pandas のデータフレーム（Data frame）へ変換する必要があったのでメモ。 目次 【１】Data Frame に変換する １）List => Data Frame ２）dict => Data Frame 【１】Data…
■ はじめに https://dk521123.hatenablog.com/entry/2021/06/01/142457 の続き。 PySpark で 「columnNameOfCorruptRecord」とか「_corrupt_record」など でてきたので、調べてみた。 目次 【１】Corrupt Record １）何ができる？ ２）使用用途 【２】使用方…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/11/141852 より分冊。 昨今、色々なプロジェクトに首を突っ込んでいる関係で Pythonのバージョンを切り替えたり大変だ。 そこで、pyenv について扱う。 目次 【１】環境設定 １）Linux の場合 ２…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/19/104805 の続き。 JSONに関して扱うことになったので、メモ。 目次 【１】JSONインスタンスをコピーする 【２】JSONをマージする 【３】JSONオブジェクトをフィルタリングする 【４】SELECTした…
■ はじめに conda について扱う。 目次 【１】環境設定 １）プロキシ設定 【２】condaコマンド １）インストール ２）別バージョンのPython環境を作成する 【１】環境設定 １）プロキシ設定 以下を用意する。 [C:\Users\[ユーザー名]\Anaconda3\.condarc] pr…
■ はじめに あるプロジェクトで管理していたGithubのリポジトリを 別のGithubのリポジトリに移動する必要がでてきたので 調べてみた。 目次 【０】移行方法 【１】--mirrorオプションを使用する方法 １）手順 ２）サンプル ３）補足１：--mirrorオプションに…
■ はじめに 小ネタ。 Windowsにおいて、管理者権限なしで環境変数を変更する方法を よく忘れるのでメモ。 目次 【１】注意点 【２】手順 【１】注意点 * あくまで変更できるのは、ユーザの環境変数 => 当たり前だが、システムの環境変数は弄れない 【２】手…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/24/225534 https://dk521123.hatenablog.com/entry/2020/07/30/195226 の続き。 今回は、PySparkにおいて、 CSVなどで改行が入った時の複数行（MultiLine）の対応について 触れたので、メモしてお…
■ はじめに Amazon SNS に関するトラブル を粛々とまとめるとする。 目次 【１】Publishしたところ、エラー「InvalidParameter: Subject」が表示 【１】Publishしたところ、エラー「InvalidParameter: Subject」が表示 boto3 API の「publish」をコールした…
■ はじめに https://dk521123.hatenablog.com/entry/2022/02/10/000000 の作業などで発生したトラブルをまとめておく 目次 【１】エラー「fatal: Not a valid object name: 'master'」が表示 【１】エラー「fatal: Not a valid object name: 'master'」が表…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/14/121909 の続き。 テストデータなどを作るのに、日付の処理について扱ったのでメモ。 目次 【１】X日前の日付の取得 【２】日付でループさせる 【３】月初・月末の取得 【１】X日前の日付の取得…
