Shell
■ はじめに https://dk521123.hatenablog.com/entry/2024/03/26/143803 で、シェルスクリプトの lint ツール「ShellCheck」の調査の過程で 「shfmt」ってのが、見つかったのでメモ。 目次 【１】shfmt 【２】インストール 【３】実行例 １）Options 【４】He…
■ はじめに 静的コードチェックInspecode / Rocro を掛ける際に https://rocro.com/inspecode どんなツールがサポートしているのかなっと調べていたら 「ShellCheck」ってのがあったので調べてみた また、別記事で「shfmt」ってのみある。 shfmt ～ 入門編 …
■ はじめに 小ネタ。 Github Workflow の Self-Hosted runner で https://dk521123.hatenablog.com/entry/2024/03/01/163922 で扱った sqlfmt が command not found で見つからない という問題が発生している。（そのまま入って実行したら問題なし） そこで…
■ はじめに Github Actions や CloudFormation などの インフラ系のサービスを扱う際に、Bashをよく使用しているが Shebang (シェバン)のところとかあいまいなことがあるので これを機にちゃんと調べてみた 目次 【１】Shebang 【２】効能 【３】構文 【４】…
■ はじめに 小ネタ。 CI/CD の処理の一環で、 テキストファイルにバージョンが指定されていて そのファイルを読み込んで、カウントアップした値を 処理で使いたいなっと思った時に、 IFS がでてきたので メモっておく 目次 【１】環境変数 IFS 【２】readコ…
■ はじめに bashによる文字列置換をメモ。 【１】bashによる文字列置換 パースには、 以下の関連記事で扱った sedコマンドなど ではない方法「bashによる文字列置換」を使っている awkコマンド https://dk521123.hatenablog.com/entry/2019/11/22/223043 sed…
■ はじめに 小ネタ。 パフォーマンステストする際に、 Rest APIを（できる限り）同時にKickしたい時に 調べていたことをメモ。 目次 【１】シェルでの非同期処理 【２】サンプル 【１】シェルでの非同期処理 * （色々な方法があるみたいだが）実行したい行の…
■ はじめに https://dk521123.hatenablog.com/entry/2023/02/21/223137 の続き。 「show tables」だと、default データベース内のテーブル一覧しか取得できず AWS Glue の Data Catalog の表示もバグっているのか取得できないテーブルがある。 っという訳で…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2022/02/10/000000 でやったリポジトリを別のGitリポジトリに移動する作業があり、 そのリポジトリ数が、まーまーあって、 今後も同じようなことをやる可能性がありそうなので シェルスクリプト…
■ はじめに AWS S3 上にあるファイルをダウンロードして 一部を取得するようなシェルを書く 目次 【１】今回の実装方針 【２】必要なライブラリ 【３】サンプル 【４】Tips １）ディレクトリ配下のファイル名一覧を取得 【１】今回の実装方針 [1] 初期処理（…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/13/120956 にあるように、CSVの値を連想配列に詰めて、 マップを作成しようとしたけど、失敗したので、 その解決策について、記しておく。 目次 【１】トラブル 【２】原因 【３】解決案 解決案１…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/11/000000 https://dk521123.hatenablog.com/entry/2021/09/12/000000 https://dk521123.hatenablog.com/entry/2021/09/23/223401 で、パイプラインに関して、少し触れたが、 今回は、掘り下げて…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/23/223401 で触れた「shopt -s lastpipe」について よく分からなかったので調べてみた。 目次 【１】shoptコマンド 【２】構文 【３】主なオプション 【１】shoptコマンド * bashのシェルオプショ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/11/000000 の続き。 今回は、連想配列を扱う。 目次 【１】連想配列 - ディクショナリ 【２】構文 １）定義方法 ２）キーが存在しているか確認 【３】サンプル 例１：Hello world 例２：キーの存…
■ はじめに シェルで、split する必要がでてきたので、メモしておく。 目次 【１】サンプル 例１：カンマ区切り 例２：ドット区切り（IPアドレス） 例３：export XXX1=YYY1;export XXX2=YYY2;... 【２】補足：配列の長さを求める 【１】サンプル 例１：カン…
■ サンプル シェルで、変数名に val1,val2, ... って番号が振ってあって その変数をいちいち参照したくないからって探してたら eval（イーバル）があったので、メモしておく 目次 【１】eval コマンド 【２】使用上の注意 【３】サンプル 例１：Hello world …
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/16/231459 の続き。 先日行ったシェルではエラーハンドリングまで考慮されていなかったので EMR上でStepごとにシェル実行した際に、そのStep内でエラーが発生しても、 途中でキャンセルにならずに…
■ はじめに Amazon EMR で シェル経由で Amazon Redshift に対して SQL を実行し、 そのシェルが実行結果を受け取り、 結果によって、エラーにするか / 正常終了にするか ってことを実装したい。 そこで、まずは、Amazon Redshift の元となっている PostgreS…
■ はじめに 小ネタ。 ファイルの書き出しについて、意外と使うのでメモ。 Dockerなんかの簡単な設定ファイル作成にも便利。 目次 【１】ファイル出力 １）echo を使ったファイル出力 ２）printf を使ったファイル出力 【２】使用上の注意 - printf １）「%」…
■ はじめに シェルで、ヘッダー付きのCSV / TSVファイルの読み込み その一部を列を配列として扱いたいので、調べてメモっておく。 目次 【１】CSVファイルを読み込み出力する 【２】ヘッダー（1行目）を除外して出力する 【３】TSVファイルを読み込む 【４】…
■ はじめに シェルの配列に関して、まとめておく。 目次 【０】シェルの配列種類 【１】配列 - リスト １）定義方法 ２）要素の追加 ３）要素の削除 ４）関数の引数・戻り値 ５）配列のソート 【２】連想配列 - ディクショナリ 【０】シェルの配列種類 シェ…
■ はじめに https://dk521123.hatenablog.com/entry/2015/02/20/001600 より分冊。 シェルのループについて、メモっておく。 目次 【１】while １）構文 【２】for １）構文 ２）サンプル 例１：規定回数ループする 例２：拡張子「.sql」のファイル一覧表示 …
■ はじめに なんだかんだで、シェルスクリプト（Bsh）を扱う機会があって その中で文字列抽出をちょこちょこのだが、すぐに忘れてしまう、、、 で、ブログにまとめておいたつもりだったが、 全然まとまっていなかったので、今回で整理する。 また、cut / rev…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/09/115553 などで、シェルを使う機会があり、引数を使って もう少しきれいに書けるので、メモ。 目次 【１】引数を取得する 例１：引数を変数に設定 【２】引数チェック 例１：引数が3つない場合…
■ はじめに シェルで何かを行う際に、あの時のあの処理ってどう書いたっけ？ ってことが多いので、メモ。 目次 【１】ファイル名を取り出す 【２】ファイル内容を表示する 【３】特定の拡張子でループさせる 【４】拡張子を別拡張子に置き換える 【５】ファ…
■ はじめに 小ネタ。 前方一致をやりたくて調べたら、 意外と grep を使ったりとかが多かった。 ただ、もっとシンプルにできる方法があったので、メモ。 目次 【１】部分一致（前方一致・後方一致） 【２】サンプル 例１：前方一致 例２：後方一致 例３：部…
■ はじめに PostgreSQL / Redshift の JDBC URL をシェルスクリプトでパースして 各要素を参照する可能性があるので、 以下のサイトを参考にサンプルを実装してみる https://pslabo.hatenablog.com/entry/20150323/p1 別解：cut / rev コマンドによる方法 cu…
■ はじめに シェルでのバックアップ / リストア に関する処理で よく使うTipsを纏めておく。 目次 【１】外部ファイル取り込み 【２】日付/日時を付加するには 【３】古いファイルを削除 【４】ディレクトリ内の指定した拡張子のファイル名を取得する 【５】…
■ はじめに Java を実行するシェルスクリプトをメモ。 目次 【１】Javaのclassファイルを実行する 【２】実行可能JARファイルを実行する 【１】Javaのclassファイルを実行する サンプル #!/bin/bash # 【オプション】環境変数 export JAVA_HOME=/usr/local/j…
■ はじめに シェルスクリプトに関するメモ。 ファイルに関する処理あれこれ https://dk521123.hatenablog.com/entry/2020/09/28/000000 目次 【１】文字列チェック 【２】カレントディレクトリを取得するには... 【３】外部ファイルを読み込むには... 【４】…
