2023-07-01から1ヶ月間の記事一覧

【Kafka】Apache Kafka ~ Web UI / kafka-ui編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/07/30/174239 の続き。 Apache Kafka の Web UI である kafka-ui ってのも学んだので メモしておく。 目次 【1】Kafdrop 【2】できること 【3】サンプル 1)動作確認 【1】Kafdrop * Kafka 用の…

【Kafka】Apache Kafka ~ Web UI / Kafdrop編 ~

■ はじめに Apache Kafka の Web UI である Kafdrop を学んだので メモしておく。 目次 【0】KafkaのWeb UI 【1】Kafdrop 【2】できること 【3】サンプル 1)動作確認 【4】おまけ:Kafka Topics UI 1)サンプル 2)動作確認 【0】KafkaのWeb UI [1…

【AWS】Amazon EMR ~ チュートリアルのすすめ ~

AWS

■ はじめに 最近、EMRに対して悪戦苦闘していて 開き直って、チュートリアルを行ったら 少し道が開いた感じになったので、 EMRのチュートリアルに関する有用性も含めてメモる。 目次 【1】EMRのチュートリアルの有用性 1)ハマりポイントの回避 【2】チュ…

【Flink】Apache Flink ~ 環境構築 / Docker compose編 ~

■ はじめに Apache Flink をやっているのだが、 ほとんど情報がない。 ましてや、ちょっとハードルをあげる、 例えば、Flinkで処理したデータをDBに入れる ってなると、ほぼほぼ皆無な状況。 そこで、今回は、そんな試行錯誤した Apache Flink + PostgreSQL …

【Snowflake】Snowflake ~ ストレージ統合の作成手順 ~

■ はじめに 久しぶりに、業務で https://dk521123.hatenablog.com/entry/2022/06/29/221037 でやったSnowflake の ストレージ統合 を使って、 アンロードをやったのだが、結構、ハマったので メモっておく なお、ハマった箇所の一部としては、以下の ステッ…

【Linux】ファイル内容を操作するコマンド

■ はじめに ファイル内容を操作するコマンドを書き溜めていく 目次 【1】sort 【2】uniq 【1】sort * 並び替え 【2】uniq * 一意にする 関連記事 大きいファイルを扱う際のコマンド https://dk521123.hatenablog.com/entry/2020/06/12/000000 ファイルの…

【Linux】【Windows】traceroute / tracertコマンド

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/03/000000 で、ICMPを行ったが、今回は、 ICMPメッセージを利用した利用価値の高いコマンド tracert / traceroute コマンド について扱う 目次 【1】traceroute . tracert 【2】追跡の仕組み 【…

【AWS】Amazon EMR ~ IAM Role周り ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/13/155755 の続き。 Amazon EMR の IAM Role周りについて 学んだので、徐々にメモっておく。 (インフラ超大変、、、) 目次 【0】EMRで関連するロール種類 【1】Service-linkedロール 1)作成…

【Flink】Apache Flink ~ 基本編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/01/235100 https://dk521123.hatenablog.com/entry/2023/05/29/000000 の続き。 今回は、Apache Flink の ベースとなるAPIやサンプルをまとめる。 目次 【1】Flink ソース外観 1)外観 【2】主…

【Kafka】Docker compose で Kafka構築時に Topic を作るには

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/24/153846 において、Docker compose で Kafka の開発環境構築を行ったが どうせなら、Topic 作成とか環境の初期処理を行えるようにしたいので 調べてみた。 目次 【1】Docker compose で Kafka…

【Docker】Dockerfile / Docker Compose でシェルを実行する

■ はじめに 小ネタ。 以下「やりたいこと」をしたいので、 Dockerfile / Docker Compose でシェルを実行する方法を調べてみた やりたいこと * DB構築後、マスタデータを入れる * Kafka構築後、Topicなどを作成する => Kafkaについては、以下の関連記事を参照…

【Docker】Docker compose ~ PostgreSQL ~

■ はじめに Docker compose で ローカル開発環境用のPostgreSQLを立ち上げる Web UI が欲しい場合は、以下の関連記事を参照のこと Docker compose ~ Pgweb/pgAdmin ~ https://dk521123.hatenablog.com/entry/2023/08/10/111919 目次 【1】環境確認 1)コ…

【Python】Python ~ PDF ~

■ はじめに 前々からやろうと思っていたPythonのPDF化について 纏めてみる。 (半自動的にドキュメントを作れるようにしておくために) 目次 【1】PythonでのPDF化 【2】インストール 【3】API仕様 1)cell 2)image 【4】サンプル 例1:Hello World …

【DOT】DOT言語 ~ 環境設定編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/15/004815 の続き。 仕事で「DOT言語の環境設定に関して情報展開してほしい」と言われて 展開しようと思ったが、意外と全然まとまってなかったので 今回、整理して、まとめておく。 目次 【1】Gr…

【Docker】Docker ~ クリーンアップ / prune ~

■ はじめに 小ネタ。 Docker をTry&Errorで使っていくと、 ゴミが溜まってえらいことになってきたので、 クリーンアップ方法を調べてみた。 目次 【1】docker prune 【2】オプションコマンド 1)-a, --all 2)--filter 3)-f, --force 【3】コマンド …

【AWS】Amazon EMR ~ Flink / 基礎知識編 ~

■ はじめに EMR 上で Flink を動かす可能性がでてきたので 徐々にメモっておく 目次 【1】AWS環境でFlinkを実行するには 【2】ドキュメント 【3】バージョンの関連性 【4】ログの場所 【1】AWS環境でFlinkを実行するには * AWS環境でFlinkを実行する際…

【Airflow】Apache Airflow ~ EMR ~

■ はじめに Airflow から EMR を立ち上げる方法についてメモる。 目次 【0】EMR種類 【1】EMR Serverless 【2】EMR 【0】EMR種類 * EMR には、以下の種類があり、使用するOperatorも変わる 1)EMR Serverless 2)EMR (on EC2) など # 他にも「Amazon E…

【Snowflake】Snowflake ~ SEQUENCE ~

■ はじめに 小ネタ。 Snowflake の SEQUENCE について扱う 目次 【1】SEQUENCE 【2】SQL文 1)CREATE 文 2)SHOW 文 3)ALTER 文 【3】使用上の注意 1)シーケンス作成後、初期値変更不可 2)連続した値は保証されない 3)作成後に初期値は変更でき…

【Snowflake】【トラブル】エラー「Ownership restriction violation」時の対応

■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2023/04/14/151140 に近いのだが、別エラーがでたので、メモ。 【1】トラブル概要 テーブルの所有権を変更するために 以下「実行したSQL」した…

【Python】Python ~ 画像処理 / Pillow ~

■ はじめに Python の 画像処理ライブラリである Pillow について 徐々にまとめていく。 目次 【1】Pillow 【2】インストール 1)トラブル 【1】Pillow * Python の 画像処理ライブラリ cf. Pillow (ピロー) = まくら? 【2】インストール pip install …

【AWS】Glue ~ パフォーマンスチューニング2 ~

■ はじめに 久しぶりのGlueネタ。 https://dk521123.hatenablog.com/entry/2022/12/03/000119 で、Glue のパフォーマンスチューニングに関して書いたが 更に、AWS Black Belt Online Seminarで学ぶべきことが多かったので 徐々にメモしておく 目次 【1】AWS…

【Python】Python ~ 非同期 / マルチスレッド ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/19/232949 で、非同期処理について扱ったが、 今回は、非同期処理の基本、マルチスレッドを扱う。 後、現場で、GIL(Global Interpretation Lock)がでてきたので とりあえず、メモる。 目次 【1】…

【Snowflake】Snowflake ~ Snowpipe Streaming ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/15/225515 で、Snowpipe を扱ったが、 今回は、Snowpipe Streaming について、徐々にメモっていく 目次 【1】Snowpipe Streaming 1)Snowpipe との比較表 【2】必要最小バージョン 【3】構成…

【Flink】Apache Flink ~ Streaming vs Batch ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/26/103421 で、Kafkaの有用性を述べたが 仕事で、ストリーミング処理のメリデメなどを 纏めることになった。 そこで、ストリーミング処理と対比される処理として バッチ処理と比較して、その優位…

【Airflow】Apache Airflow ~ DAG作成 ~

■ はじめに 久しぶりに、AirflowのDAGを作成することになったのだが 大分時間が経ってしまったので、ほとんど覚えておらず。。。 なので、今回は、そんなダメな自分への備忘録として DAGを作成することに特化したものを作る。 完全なリハビリ(復習)みたい…