Lycolog

HTTPを始めFTPやLDAPなど多様なプロトコルに対応したクライアント

curl [options...] <url>

Options

ヘルプが充実してるのでヘルプ見たほうが早い

• -X method
  • -X POSTとかするとそのメソッドを投げられる
  • -XPOST形式でも動く
• -s
  • 通信の進捗を表示しない
  • 通信エラーも表示しない
• -S
  • -sが指定されている時にエラーを表示する
• -L
  • location headersを読む
  • 3xx系のコードの追従する(302 redirectとか)
  • -sSLでセットにして使うことが多い
• -v
  • --verbose
  • レスポンス内容が全部出る
    • レスポンスヘッダを見る時に使える(-Iでも見れるがHEAD methodを投げてるだけなので-Xと併用できない)
    • エラー出力されるのでgrepしたい時などは標準出力にリダイレクトが必要
      • 2>&1
• -H
  • ヘッダを投げられる
  • -H 'Content-Type: application/json'
  • -H 'User-Agent:' -H 'Accept:' -H 'Host:'でcurl自身の既定ヘッダを消せる。但しHostヘッダーのないリクエストはRFC違反であるため受け付けられる保証はない
• -d
  • x-www-form-urlencodedを投げる時に使う
  • -d key=value
    • 複数あるときは複数指定する
  • 暗黙的に-X POST扱いになる
• --data-urlencode
  • -dと同じだが中身がURLエンコードされる
• -o <path>
  • ファイルを保存する
  • ダウンロード目当てならwgetのほうが使いやすい

例

JSONのPOST

curl -v -H 'Content-Type: application/json' -d '{ "hoge": "piyo" }' -- 'https://example.com'

参考

• 公式のマニュアル

ls -l | xargs echoのようにして手前のコマンドの標準出力を渡すコマンド。そのコマンドの次に差し込まれる形になる

指定位置に結果を差し込む

• echo 'bbb' | xargs -I{} echo "aaa"{}
  • -I{}のように指定すると置換文字列を指定できる
• echo 'bbb' | xargs -I{} echo "aaa"{}{}{}
  • 複数書けば複数回置換される

文字列を編集したりするのに大変便利なやつ。sedやawkの代わりに使える。構文はPerlそのものが使える。なにせPerlなので

• コマンドラインオプション
• 構文
• チートシート
  • 変数置換
  • 特定行を取得
  • 正規表現の名前付きキャプチャ
  • 逆順出力

コマンドラインオプション

• -e
  • ワンライナーでコードを書くやつ
  • php -rやnode -eと同じ
  • Evaluate, Eval, 評価
• -n
  • 入力の各行に対し処理がかかる
  • $.で行番号、$_で行の文字列を取得できる
  • while (<>)相当の処理
• -p
  • 入力の各行に対し処理を行い、更にprint $_相当の処理を実行する
• -l
  • 入力（$_）から改行文字を削除し出力に改行を追加する
• -a
  • 入力の各行に対してawk相当の文字列分割処理を行う（autosplit mode with -n or -p）
  • 分割した文字は$Fに配列として入るので次のようにして取得できる
    • perl -ale 'print "$F[0] - $F[1]'
  • $#Fを指定すると分割した個数が取れる
• -F/pattern/
  • -aでsplitするパターンを設定する
  • 例えば-F,とするとCSVを分割できる
• -i[ext]
  • ファイルを編集する
  • 使用例：perl -i -pe 's/aaa/xxx/' foo.txt
  • -i.bakのように指定するとバックアップファイルが作成される
  • このオプションは次に続く文字が解釈されるため、単体で指定する必要がある（-ipeのようには使えない）

構文

変数を指定しない場合、基本的に$_として扱われる

• print
  • 標準出力に出力
  • 単体ではprint $_と同じ挙動をする
• $hoge =~ s/foo/bar/
  • fooをbarに置換
• /(.+)/; print $1
  • キャプチャした内容を出力
  • コマンド例：echo hoge.jpg | perl -ne '/(.+)./; print $1'
• $_
  • 基本的に書かなくても補完される
  • 例えばecho aaabbc | perl -ne 's/c/d/; print'の出力はaaabbdとなる
  • その他特殊変数：https://perldoc.jp/docs/perl/5.18.1/perlvar.pod
• END{}
  • このブロックで囲んだコードは実行時の最後に動作する
    • -n, -pを指定した場合、END{}は$_が取れないので渡す場合は$x = $_; END{ print $x }のように別の変数に代入する必要がある
  • https://perldoc.jp/docs/perl/5.38.0/perlmod.pod#BEGIN44-32UNITCHECK44-32CHECK44-32INIT32and32END

チートシート

変数置換

一例

ls -l | perl -ale '$F[8] =~ s/\.html//; print "$F[8]";'

特定行を取得

1のところが行数なので、ここを変えることで任意の行の文字列を取れる

perl -ne 'print if $. == 1'

正規表現の名前付きキャプチャ

echo "foo bar" | perl -pe 's/(?<first>.+) (?<last>.+)/$+{first}-$+{last}/'

逆順出力

unshiftで配列の先頭に値を追加し、END{}で最後に出力している

cat <<EOF | perl -ne 'unshift @x, $_; END{ print @x }'
aaa
bbb
ccc
EOF

man 5 crontabで使い方見るのが一番早い

各列の意味合い

• 2分おきのように範囲指定する場合は*/2のように表現できる
  • 例、0 - 30分の間を2分おきなら0-30/2

.---------------- minute (0 - 59)
|  .------------- hour (0 - 23)
|  |  .---------- day of month (1 - 31)
|  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
|  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
|  |  |  |  |
m h dom mon dow usercommand
17 * * * *  root  cd / && run-parts --report /etc/cron.hourly
25 6 * * *  root  test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )
47 6 * * 7  root  test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.weekly )
52 6 1 * *  root  test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.monthly )

入力された文字列を標準出力するコマンド。ヒアドキュメントの合わせ技でファイル作成が可能

ファイル作成

cat <<EOF > foo.txt
foo
bar
baz
EOF

• 変数展開を防ぐ場合はヒアドキュメントをクオートで囲む

cat <<'EOF' > foo.txt
foo
bar
baz
EOF

ファイル追記

• 追記する場合はteeと組み合わせる

cat <<EOF | tee -a foo.txt
hoge
piyo
fuga
EOF