2023-01-01から1年間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2018/09/22/142348 で、Pythonのテンプレートエンジンである Jinja を取り扱ったが 今回は、Jinjaの マクロについて扱う。 【１】マクロ機能 * 繰り返し出てくる記述を簡略化することができる機能 【２】…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 https://dk521123.hatenablog.com/entry/2022/04/19/140219 の続き。 Amazon WorkSpaces の Ubuntu Desktop を扱うことにな…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/25/231128 の続き。 今回は、DBTのModel について、徐々にTipsを書き溜めておく 目次 【１】config １）alias ２）schema ３）database サンプル 【２】変数 １）変数設定 ２）変数の参照 ３）サ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/30/000000 https://dk521123.hatenablog.com/entry/2023/05/30/151003 https://dk521123.hatenablog.com/entry/2023/11/20/230946 の続き。 dbt の モデル（Model）について、徐々に学んでみる 目…
■ はじめに Linux 上での Proxy 設定をメモしておく 目次 【１】基本：環境変数で設定 【２】恒久的に設定するには 【３】apt の場合 【１】基本：環境変数で設定 １）構文 export http_proxy="http://【ユーザID】:【パスワード】@【プロキシ・ホスト名】:…
■ はじめに Proxy接続環境下で、SBTを使えないので 徐々にメモる。 目次 【０】Proxy環境下で sbt コマンド実行した場合 【１】その１：環境変数を利用する 【２】その２：実行時に指定する 【０】Proxy環境下で sbt コマンド実行した場合 * 以下の関連記事…
■ はじめに 小ネタ。 docker を sudo なしで実行できるように設定する 目次 【１】docker を sudo なしで実行する 方法１：Ubuntuで確認 方法２：Amazon Linux2で確認 【２】補足：使用しているコマンド １）groupadd ２）usermod -aG ３）gpasswd ４）newgr…
【１】環境変数に関連するコマンド １）環境変数を設定する set [環境変数名]=[環境変数の値] 【例】 set JAVA_HOME=C:\Program Files\Java\jdk1.7.0_05 ２）環境変数一覧表示 set 関連記事 【Linux】環境変数に関するあれこれ https://dk521123.hatenablog.…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/30/000000 https://dk521123.hatenablog.com/entry/2023/05/30/151003 の続き。 dbt の シード（Seed）について、徐々に学んでみる 目次 【１】Seed 【２】Hello world １）前提条件 ２）実行手順…
■ はじめに キーボードに関してメモ。 目次 【１】US キーボードとの比較 １）USキーボードの方いい理由 【２】キーを入れ替えるには １）Microsoft PowerToys 例：Caps lock => Control に変える 【１】US キーボードとの比較 * プログラマにとって、よく日…
■ はじめに tmux について触ってみた。 目次 【１】tmux 【２】前提知識：構成要素 【３】インストール 【４】軽く触ってみる 【１】tmux * tmux = Terminal Multiplexer (マルチプレクサ) = 端末多重化ソフトウェア * ターミナル画面を複数開くことができる…
■ はじめに fzf っていうのを小耳にはさんだのでメモ。 【１】fzf * fzf = FuZzy Finder (ファジー ファインダー) * 曖昧検索をしてくれるコマンドツール cf. fuzzy(ファジー) = 不明瞭な、曖昧な、はっきりしない 【２】サポートOS * Linux * Mac * Windows…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 https://dk521123.hatenablog.com/entry/2023/11/03/234825 の続き。 今回は、sls offline について扱う。 目次 【１】sls offline 【２】インストール １）確認 【３】起動の仕方 【４…
■ はじめに tee コマンドについてメモる。 目次 【１】teeコマンド 【２】オプション １）-a (--append) 【３】サンプル 例１：Hello World 例２：設定ファイル作成 【１】teeコマンド * 標準入力から受け取った内容を 標準出力とファイルに書き出すコマンド…
■ はじめに https://dk521123.hatenablog.com/entry/2020/04/10/173658 で Markdownに関しての記事を書いたが、 今回は、AsciiDoc（アスキードック）っていうのを聞いたのでメモってみた 【１】AsciiDoc * Markdownなどのような軽量マークアップ言語の一つ *…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/10/034839 https://dk521123.hatenablog.com/entry/2023/08/24/002539 の続き。 IntelliJ のデバッグに関して、少しずつメモっていく。 【】 * 以下の https://qiita.com/takc923/items/35979a3ae…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/23/212149 の続き。 徐々にだが、Pythonのコメントから ドキュメント化するツールについて、まとめていく 目次 【１】Sphinx（スフィンクス） 【２】Doxygen（ドキシジェン） 【１】Sphinx（スフ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 の続き。 今回は、サービス作成～サービス削除まで、 Hello worldしてみる 目次 【１】AWSアカウントの設定 【２】サービス作成 【３】サービスのデプロイ 【４】Lambdaの実行 【５】サ…
■ はじめに Serverless Framework ってのを触る機会があったのでメモ。 インストールでかなりハマったが、 AWSアカウントがなくても、ローカル環境で簡単に AWS Lambda の開発できるので、かなりいい、、、 目次 【１】Serverless Framework 【２】環境設定 …
■ はじめに https://dk521123.hatenablog.com/entry/2023/10/31/000133 https://dk521123.hatenablog.com/entry/2020/05/19/000000 等ででてきた *args **kwargs について、 改めてちゃんと学ぶ 目次 【１】*args 【２】**kwargs 【３】使用上の注意 【１】*…
■ はじめに Airflow で、Task 間で値を受け渡す際に必要な XComs について 多く触れることになりそうなので、メモっておく 目次 【１】XComs 【２】関連するAPI １）xcom_push ２）xcom_pull 【３】サンプル 例１：Airflow v1 例２：Airflow v2 【１】XComs …
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/04/230703 で、S3 Sensorを取り扱ったが Apache Airflow の Sensor (センサ) 自体を扱うことになったので メモる。 目次 【１】Sensor 【２】主なSensor １）ExternalTaskSensor ２）FileSensor …
■ はじめに Scalaで高階関数（こうかいかんすう）を知る機会があったが Pythonでもfunctoolsモジュールで扱えるとのことなので メモってみた。 目次 【１】高階関数 (Higher-Order Functions) 【２】functools 【３】cache １）@cache ２）@cached_property …
■ はじめに MWAA Local で AWSに繋げるようにする必要ができたのでメモ。 あと、個人的なことで作業が簡単になるように MWAA Local をちょこっと改造する 目次 【１】MWAA Local で AWSに繋げるようにするには Case１：docker/config/.env.localrunner に追…
■ はじめに Python で Snowflake の 非同期クエリを実行することになったので これを機にPython用Snowflakeコネクタを学んでみる 目次 【１】Python用Snowflakeコネクタ 【２】環境設定 【３】同期クエリ実行 １）サンプル ２）関連するAPI 【４】非同期クエ…
■ はじめに 小ネタ。 Apache KafkaでDB/Schemaを切り替える方法についてメモ。 【１】KafkaでDB/Schemaを切り替えるには * Topic を [DB].[Schema].[Table] のようにする 【２】影響する点 １）Kafkaの設定 topics # topics=db_name # 修正前 # topics=[DB].…
■ はじめに bashによる文字列置換をメモ。 【１】bashによる文字列置換 パースには、 以下の関連記事で扱った sedコマンドなど ではない方法「bashによる文字列置換」を使っている awkコマンド https://dk521123.hatenablog.com/entry/2019/11/22/223043 sed…
■ はじめに https://dk521123.hatenablog.com/entry/2023/10/22/220717 でKafka / Kafka connect を設定したので 簡易的に、kafka-python を使って、Hello worldをやってみる 目次 【１】前提条件 【２】環境設定 【３】ドキュメント 【４】サンプル 例１：P…
■ はじめに 小ネタ（本当にメモ）。 Kafka の リモートデバッグについて触れたので、メモ。 【１】環境変数 https://github.com/ppatierno/kafka-connect-amqp/blob/master/README.md#debugging export KAFKA_DEBUG=y export DEBUG_SUSPEND_FLAG=y https://g…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 で、Kafkaの環境構築を行い https://dk521123.hatenablog.com/entry/2023/08/11/220921 で、Kafka Connectの環境構築をDocke…
