【Linux】sedコマンド

Linuxコマンド

■ はじめに

https://dk521123.hatenablog.com/entry/2019/11/22/223043

で、sedコマンドを扱ったがかなり深いので、記事を分けた。
以下の動画で勉強するといいかも。

動画
https://dotinstall.com/lessons/basic_sed

目次

【１】sedコマンド
【２】Hello worldから概念を学ぶ
　１）Hello World
　２）解説
【３】使用上の注意
　１）実行環境による差異
　２）文字に「/」などが含まれている場合
【４】文法
　１）オプション
　２）アドレスの指定方法
【５】サンプル
　例１：dコマンド : １行目を削除
　例２：pコマンド : ３行目だけ表示
　例３：qコマンド : ３行以降は辞める
　例４：iコマンド : ３行に「-------------」を挿入
　例５：yコマンド : 文字置換（「-」=>「?」）
　例６：sコマンド : 文字列置換
【６】実例
　例１：改行コードの変換 CRLF => LF
　例２：テンプレートファイルを書き換える
　例３：文字列の抽出
　例４：Trim処理
【７】おまけ：共通処理化

【１】sedコマンド

* sed (セド) : Stream EDitor
* 文字列の置換/削除

【２】Hello worldから概念を学ぶ

* Hello World を使って、sedの概念を学ぶ
* 以下のファイルを使う

hello.csv 

id,name,remarks
001,Mike,-
002,Tom,Hello
003,Smith,World
004,Nick,!!

１）Hello World

# ３行目を消す
sed -e "3d" hello.csv

id,name,remarks
001,Mike,-
003,Smith,World
004,Nick,!!

２）解説

sed -e "3d" hello.csv

[アドレス] [コマンド]
3(行目)       d (delete:削除)

やってること 

[1] ファイルから１行読み込んでパターンスペースに格納
　（パターンスペース：メモリバッファ的なもの）
[2] アドレスにマッチするか？
 => マッチした場合は、コマンドを実行
[3] パターンスペースを表示

【２】使用上の注意

１）実行環境による差異

* 実行環境（OS）によって動作や使える文法が変わる

２）文字に「/」などが含まれている場合

ダメ例：文字の置き換え 

# 「/」が含まれている
RELACED_PATH="/xxx/yyy/zzz.txt"
# ${RELACED_PATH}内に「/」があるから、区切り文字と違いがわからない
sed -e "s/__PATH__/${RELACED_PATH}/" template.txt > world.txt

対応案 

区切り文字「/」を「|」にする

修正例 

RELACED_PATH="/xxx/yyy/zzz.txt"
# 区切り文字を「|」にする
sed -e "s|__PATH__|${RELACED_PATH}|" template.txt > world.txt

参考文献
https://hacknote.jp/archives/8163/

【４】文法

１）オプション

# オプション オプション-フル(予想含む) 説明
1 d delete 削除
2 p print? 表示
3 i insert 挿入
4 a append 追加
5 q quit 停止
6 y ??? 文字置換
7 s string? 文字列置換

２）アドレスの指定方法

1と3行目：「;」を使う 

sed -e "1d;3d" hello.csv

001,Mike,-
003,Smith,World
004,Nick,!!

全行表示：「d」を使う 

sed -e "d" hello.csv

id,name,remarks
001,Mike,-
002,Tom,Hello
003,Smith,World
004,Nick,!!

【５】サンプル

例１：dコマンド : １行目を削除

sed -e "1d" hello.csv

001,Mike,-
002,Tom,Hello
003,Smith,World
004,Nick,!!

例２：pコマンド : ３行目だけ表示

# -n :  出力コマンド以外の出力を行わない
sed -n "3p" hello.csv

例３：qコマンド : ３行以降は辞める

sed -e "3q" hello.csv

id,name,remarks
001,Mike,-
002,Tom,Hello

例４：iコマンド : ３行に「-------------」を挿入

# "【行数】u\【挿入したい内容】"
sed -e "2i\-------------" hello.csv

id,name,remarks
-------------
001,Mike,-
002,Tom,Hello
003,Smith,World
004,Nick,!!

例５：yコマンド : 文字置換（「-」=>「?」）

sed "y/-/?/" hello.csv

id,name,remarks
001,Mike,?
002,Tom,Hello
003,Smith,World
004,Nick,!!

例６：sコマンド : 文字列置換

「00」=>消す 

sed "s/00//" hello.csv

id,name,remarks
1,Mike,-
2,Tom,Hello
3,Smith,World
4,Nick,!!

正規表現による置換 

# "s/【正規表現】/【置換後の文字（＆：正規表現で一致した文字）】/"
sed -e "s/00[1-4]/<&>/" hello.csv

id,name,remarks
<001>,Mike,-
<002>,Tom,Hello
<003>,Smith,World
<004>,Nick,!!

1行目を消す 

# + 正規表現でIDとそれ以外に分けて、それ以外だけを表示する
# (カッコは、バックスラッシュでバックスラッシュでエスケープ)
sed -e "1d" -e "s/\(00[1-4]\),\(.*\)/\2/" hello.csv
Mike,-
Tom,Hello
Smith,World
Nick,!!

【６】実例

例１：改行コードの変換 CRLF => LF

sed "s/\r//g" win-newline.txt > unix-newline.txt

https://qiita.com/dharry/items/b4eead2868dddf1499f0

例２：テンプレートファイルを書き換える

# sed "s/正規表現/置換文字列/" テンプレートファイル > 置換後のファイル
sed -e "s/__HELLO__/world/" template.txt > world.txt

template.txt 

ここが、__HELLO__ に置き換わる

world.txt 

ここが、world に置き換わる

例３：文字列の抽出

# echo "export A..." | sed "s/export //g"
echo "export AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE;export AWS_SECRET_ACCESS_KEY=ASIAIOSFODNN7EXAMPLE;export AWS_SESSION_TOKEN=AQoDYXdzEJr...PxRfiCYEXAMPLEKEY" | sed "s/export //g"
# AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE;AWS_SECRET_ACCESS_KEY=ASIAIOSFODNN7EXAMPLE;AWS_SESSION_TOKEN=AQoDYXdzEJr...PxRfiCYEXAMPLEKEY

# 他の例については、以下の関連記事を参照のこと

シェル ～ 文字列抽出あれこれ ～
https://dk521123.hatenablog.com/entry/2021/08/03/160901

例４：Trim処理

https://genzouw.com/entry/2019/02/14/081819/850/

result="$(echo "  abc   def" | sed 's/^ *\| *$//')"
echo "###${result}###"
# <出力結果>###abc   def###

【７】おまけ：共通処理化

https://dk521123.hatenablog.com/entry/2015/03/17/233124

で行った「別シェルの関数を呼ぶ」を使う

サンプル

util.sh 

#!/bin/bash

replace(){
  old=${1}
  new=${2}
  input_file=${3}
  output_file=${4}
  
  sed -e "s|${old}|${new}|" ${input_file} > ${output_file}
}

main.sh 

#!/bin/bash

. ./util.sh

mkdir -p temp

echo "1"
replace '__IP_ADDR__' '127.0.0.1' 'template.tmp' 'temp/temp1.tmp'
echo "return code : ${?}"

echo "2"
replace '__USER__' 'user001' 'temp/temp1.tmp' 'temp/temp2.tmp'
echo "return code : ${?}"

echo "3"
replace '__PASSWORD__' 'passeword1' 'temp/temp2.tmp' 'output.conf'
echo "return code : ${?}"

rm -rf 'temp'

template.tmp 

[localhost]
__IP_ADDR__

[all:vars]
ansible_ssh_user=__USER__
ansible_ssh_pass=__PASSWORD__

コマンド 

$ ./main.sh
1
return code : 0
2
return code : 0
3
return code : 0

output.conf 

[localhost]
127.0.0.1

[all:vars]
ansible_ssh_user=user001
ansible_ssh_pass=passeword1

参考文献

https://www.atmarkit.co.jp/ait/articles/1610/17/news015.html

関連記事

awkコマンド
https://dk521123.hatenablog.com/entry/2019/11/22/223043
シェル 関数
https://dk521123.hatenablog.com/entry/2015/03/17/233124
JDBC を シェルスクリプトでパースする
https://dk521123.hatenablog.com/entry/2020/03/24/223323
シェル ～ 文字列抽出あれこれ ～
https://dk521123.hatenablog.com/entry/2021/08/03/160901
テキスト加工 ～ sed / awk ～
https://dk521123.hatenablog.com/entry/2019/11/22/223043