disownしたプロセスの標準出力や標準エラーを後から保存する

前の記事で、disownの素晴らしさを紹介したが、基本的に標準出力・標準エラーを諦めることになる。

調子の悪いHDDの丸ごとコピーとかだと、標準エラーを後で見たいので、なんとかならないかネット検索したところ、

gdbで接続して、dup2で標準出力・標準エラーをファイルに繋ぐなんて荒業を紹介している人がいた。

dup2なんてCプログラマじゃなきゃ使おうとも思わんな。

流れとしては、

特定のコマンドをdisownする。前の記事参照。
プロセスIDを調べる
標準出力、標準エラーのファイルを用意する
gdb -p で接続する
dup2でファイルに接続する。
デタッチ
gdbを抜ける

うーん。絶対忘れる。

以下、サンプル。実際はcpとかでやると思うが今回は、標準出力と標準エラーが分かりやすいようにしている。

標準出力にはdateの結果、標準エラーにはerrorを5秒間隔で。

$ bash -c 'while /bin/true ; do date ; echo error &gt;&amp;2;sleep 5; done '
2014年 8月 12日 火曜日 12:16:25 JST
error

Ctrl-z

# 一旦止める。

$ bg

# バックグラウンドにする。

$ disown %1

# ここまででプロセスの準備OK。出力があるので、一度ログアウトして入り直した方がいいかも。

$ ps axfwww |grep while
8458 ? S 0:00 \_ bash -c while /bin/true ; do date ; echo error &gt;&amp;2;sleep 5; done

# プロセスID確認 今回は、8458

$ touch /tmp/std{out,err}

# ファイルを作る

#

# gdbで繋ぐ。ubuntuだと設定にもよるがsudoが必要。

#

$ sudo gdb -p 8458

###### snip ########

(gdb) p dup2(open(&quot;/tmp/stdout&quot;,1),1)

# 標準出力を繋ぐ

(gdb) p dup2(open(&quot;/tmp/stderr&quot;,1),2)

# 標準エラーを繋ぐ

(gdb) detach

# デタッチ

(gdb) quit

# gdbを終了

# 確認する

$ tail /tmp/stdout

2014年 8月 12日 火曜日 12:25:08 JST
2014年 8月 12日 火曜日 12:25:13 JST
2014年 8月 12日 火曜日 12:25:40 JST

$ tail /tmp/stderr

error
error
error

$ bash -c 'while /bin/true ; do date ; echo error >&2;sleep 5; done '

2014年 8月 12日火曜日 12:16:25 JST

error

Ctrl-z

# 一旦止める。

$ bg

# バックグラウンドにする。

$ disown %1

# ここまででプロセスの準備OK。出力があるので、一度ログアウトして入り直した方がいいかも。

$ ps axfwww |grep while

8458 ? S 0:00 \_ bash -c while /bin/true ; do date ; echo error >&2;sleep 5; done

# プロセスID確認今回は、8458

$ touch /tmp/std{out,err}

# ファイルを作る

# gdbで繋ぐ。ubuntuだと設定にもよるがsudoが必要。

$ sudo gdb -p 8458

###### snip ########

(gdb) p dup2(open("/tmp/stdout",1),1)

# 標準出力を繋ぐ

(gdb) p dup2(open("/tmp/stderr",1),2)

# 標準エラーを繋ぐ

(gdb) detach

# デタッチ

(gdb) quit

# gdbを終了

# 確認する

$ tail /tmp/stdout

2014年 8月 12日火曜日 12:25:08 JST

2014年 8月 12日火曜日 12:25:13 JST

2014年 8月 12日火曜日 12:25:40 JST

$ tail /tmp/stderr

error

うーん。非常にメンドイ。なるべくnohupを使いましょう。それか日常的にscreenを使いましょうってことですね。

ただ、考え方は非常に面白いので、覚えておくのはいいと思う。

実行中のコマンドをバックグラウンドにしてログアウトしても消えないように(disown)

軽い気持ちで実行したコマンドが、なかなか終わらなくて、あー。もー。帰りたいのに終わるまで帰れない。

なんて経験があったりする。ただこの disown ってコマンドを覚えておけば、そんなことを気にしないで実行したまま家に帰ることが出来る。

たぶんbash限定かもしれないけど、自分bashしか使わないので。。。

具体的には、

Ctrl-z でプロセスを一旦止めて、

bg でバックグラウンドプロセスにして。

って感じ。

ただこのままログアウトしても大丈夫なプロセスもあったりするのだが、止まるやつは止まる。

そこで、 disown %1 を実行してあげる。(%1はjob id jobsコマンドで確認出来る)

これでログアウトしても止まらないはずなので、安心して帰れる。

以下サンプル(cpの大量コピーとかがよくあるかと)

$ cp -av /media/usb-hdd my-bkup/

Ctrl-z

# ここで一旦止める。

$ bg

# バックグラウンドにする。

$ jobs

[1]+ 実行中 cp -av /media/usb-hdd my-bkup/ &amp;

# job idを確認。ここでは%1

$ disown %1

$ jobs

# 自分のjobから消えてればOK

$ cp -av /media/usb-hdd my-bkup/

Ctrl-z

# ここで一旦止める。

$ bg

# バックグラウンドにする。

$ jobs

[1]+ 実行中 cp -av /media/usb-hdd my-bkup/ &

# job idを確認。ここでは%1

$ disown %1

$ jobs

# 自分のjobから消えてればOK

こんな感じ。標準出力するプログラムだと、入力が大変だが、めげずに実行する。

ログアウトすると、標準出力、標準エラーは保存できないので、そこは諦めるか別の方法。

最初から、時間がかかるのがわかっているなら、 nohup を使ったほうが良い。標準出力もファイルに保存されるので。

nohupの記事も過去にちょろっと書いた。

標準入力からdiff

diffでファイルの比較とかやってると、実行するコマンドの結果(標準出力)を元に比較出来ないのかなと悩むことがある。

一度ファイルに落としてからdiffすればいいので、特に調べてなかったが、ちょいと調べたらあっさり見つかった。

コマンドの標準出力を比較する場合。

$ diff <( command1 ) <( command2)

1	$ diff <( command1 ) <( command2)

うわ。めっちゃ簡単。bashだけらしいけど、bash以外使った事ないから充分。

<(の間にはスペースは入れてはだめ。

コマンドの標準出力とファイルを比較する場合。

$ diff <( command1 ) file1

1	$ diff <( command1 ) file1

diffに限らず

<( command )

1	<( command )

こいつは、いろんなところで使えそう。

無知は罪ですな。

routeコマンドかipコマンドで経路ごとのMTUとかMSSとか

極極々まれに、特定のホストと通信できなくて、MTUを調整すると通信できたりすることがある。

MTUは通常回線終端のルーターで設定しておけば、特に問題になることはないのだが、たまーーーーに変なホストがいる。

そのたまーーーーーにいる変なホストのためだけにルーターをイジるのは、馬鹿げているし、Linuxマシンもサーバだったりすると

全体に影響するような設定は嫌なので特定のルーティングに対してだけ設定を行う。

んでこんな設定

# 特定のホスト

$ sudo route add -host 192.168.210.1 mss 1000 gw 192.168.0.1

# ネットワークブロック

$ sudo route add -net 192.168.210.0 netmask 255.255.255.0 mss 1000 gw 192.168.0.1

# 特定のホスト

$ sudo route add -host 192.168.210.1 mss 1000 gw 192.168.0.1

# ネットワークブロック

$ sudo route add -net 192.168.210.0 netmask 255.255.255.0 mss 1000 gw 192.168.0.1

route コマンドだとMTUじゃなくMSSの設定になる。

って、route はもはや古いコマンドだと書いたので、

iproute2では

# 特定のホスト

$ sudo ip route add 192.168.210.1 mtu 1000 via 192.168.0.1

# ネットワークブロック

$ sudo ip route add 192.168.210.0/24 mtu 1000 via 192.168.0.1

# 特定のホスト

$ sudo ip route add 192.168.210.1 mtu 1000 via 192.168.0.1

# ネットワークブロック

$ sudo ip route add 192.168.210.0/24 mtu 1000 via 192.168.0.1

iproute2 だとMTUの設定になる。

なんでこんなことが必要か?とか、MTUとMSSの違いって何?とか思ったら、MTU, MSS, Path MTU Discoveryとかでgoogle先生に聞けば教えてくれると思う。

これ系のトラブルは、ハマると泣きそうになる。

portフォワードというかTCPリレーというか(socat)

sshのポート転送をこよなく愛しているのだが、ログインするまでもなくポート転送したい時がある。

単純に、Aサーバのこのポートを、Bサーバのあのポートに接続するって場合。

socatってコマンドがあれば、なんとか出来る。

$ socat TCP4-LISTEN:8443,fork TCP4:foo.example.com:443

1	$ socat TCP4-LISTEN:8443,fork TCP4:foo.example.com:443

自分の:8443ポートを、foo.example.com:443に繋ぐ。

forkを付けないと、1回の接続でコマンドが終了してしまう。

これで、自分の8443に接続が来ると、foo.example.com:443に接続されるっていうすぐれもの。

ただ、このsocatって一番困るのが、たぶん大体の環境で入ってない。

netcatのncコマンドなら、たぶん何処の環境でも入ってるので、力技でやると、

以下のような感じ。ただ、fifoを事前に作って上げる必要があります。

$ mkfifo foo.fifo

$ nc -l 8443 < foo.fifo | nc foo.example.com 443 > foo.fifo

$ mkfifo foo.fifo

$ nc -l 8443 < foo.fifo | nc foo.example.com 443 > foo.fifo

標準入出力をfifoで繋いであげる感じ。

この考えはとても素晴らしいのだが、仕様なのかなんなのか、そこそこの頻度でコマンドが終了する。

もー。ようわからんので、whileで回してやる。

$ while /bin/true ; nc -l 8443 < foo.fifo | nc foo.example.com 443 > foo.fifo ; done

1	$ while /bin/true ; nc -l 8443 < foo.fifo \| nc foo.example.com 443 > foo.fifo ; done

かなり強引。動作テスト程度には使えるが、本気運用は無理ですね。

ubuntuでUSB HDDケース(CSDRU3B6G)

別にubuntuに限った話では無いのだが、USB HDDケースを買った。

最近のLinuxなら、USB-HDDは特に意識することなく認識するので、

そんな悩む必要も無いのだが、無駄に悩みまくって、最終的にこいつを買った。

センチュリースライディング裸族 SATA6G CSDRU3B6G

amazon

同じセンチュリーの裸族のお立ち台シリーズにしようかと思ったのだが、

スライドして差し込めるタイプのこいつの方が、使い勝手がよさそうなのでこいつにした。

以下、良い点。

安い。多分お立ち台より安いし、他のUSB3.0対応でもここまで安いのなかなか無いのでは。
USB 3.0対応(当面自分の環境では使わないが)
ちゃんと本体に電源スイッチがある(普通のことかもしれないが)
スライドして取り外すのが簡単
3TBytes超えのディスクも認識
同じやつを買えば、重ね置きも可能

金額的にも、機能的にも大満足。別に不満では無いが気になるところを強いて言うと

安っぽい(ホント安いプラスチック)
アクセスLEDが青い(部屋が真っ暗だと気になるかも。まー隠せばいいだけ)

ちなみに一緒に買ったHDD。

【Amazon.co.jp限定】WD 内蔵HDD Green 3TB 3.5inch SATA3.0（SATA 6 Gb/s） 64MB Inteilipower 2年保証 WD30EZRX-1TBP/N (FFP)

amazon

なんか最近Western Digitalばっかりだな。もちろん簡単に認識した。

ただ、今回3TのHDDを初めて買ったのだが、昔から持っていた、SATA-USB変換ケーブルだと、認識してくれない。

今回買ったHDDケースもう一個買ってもいいかな。

センチュリースライディング裸族 SATA6G CSDRU3B6G

amazon

pythonで標準出力のバッファを制御する

logresolveコマンドのpython版を作った時に知ったので、メモを残す。

内容は表題のとおり。

以下2パターンがある模様。

起動時のオプション(-u, unbuffered)を指定する。

Shell

# python -u logresolve.py

1

# python -u logresolve.py
sysモジュールからハンドラにアクセスし、都度flushする。

Python

import sys print "Hello world." sys.stdout.flush()

1
2
3

import sys
print "Hello world."
sys.stdout.flush()

すぐ忘れそう。。。

apacheのログを後からホスト名変換(python編)

前に、同じ記事を書いたが、なんかubuntuをアップグレードした影響なのか、ちょっと挙動が変わった。

前は、標準入力に渡してあげると、順次変換が実行されていたのだが、今は、まとめて結果が表示される。

多少遅くても、実行時眺めていたかったので、それならpythonで作ればいいやんと思ってとてつもなくと汚く書いた。汚い！！！

#!/usr/bin/env python

import sys
import socket
if hasattr(socket, 'setdefaulttimeout'):
    socket.setdefaulttimeout(1)

def line_get_host(line,before_lines, before_host):
    lines = line.split(' ')
    before = before_lines.split(' ')

    if (lines[0] != before[0]):
        try:
            host = socket.gethostbyaddr(lines[0])[0]
            
        except:
            host = lines[0]

    else:
        host = before_host

    lines[0] = host

    new_lines = &quot; &quot;.join(lines)
    return new_lines, host


if __name__ == '__main__':
    argvs = sys.argv
    argvc = len(argvs)

    if ( argvc == 2):
        of = open(argvs[1], 'r')

    else:
        of = sys.stdin

    before_line = &quot;&quot;
    before_host = &quot;&quot;
    for l in sys.stdin:
        l = l.rstrip('rn')
        ret = line_get_host(l,before_line, before_host),
        print ret[0][0], 
        sys.stdout.flush()
        before_line = l
        before_host = ret[0][1]

#!/usr/bin/env python

import sys

import socket

if hasattr(socket, 'setdefaulttimeout'):

socket.setdefaulttimeout(1)

def line_get_host(line,before_lines, before_host):

lines = line.split(' ')

before = before_lines.split(' ')

if (lines[0] != before[0]):

try:

host = socket.gethostbyaddr(lines[0])[0]

except:

host = lines[0]

else:

host = before_host

lines[0] = host

new_lines = " ".join(lines)

return new_lines, host

if __name__ == '__main__':

argvs = sys.argv

argvc = len(argvs)

if ( argvc == 2):

of = open(argvs[1], 'r')

else:

of = sys.stdin

before_line = ""

before_host = ""

for l in sys.stdin:

l = l.rstrip('rn')

ret = line_get_host(l,before_line, before_host),

print ret[0][0],

sys.stdout.flush()

before_line = l

before_host = ret[0][1]

ファイル名を渡すか、標準入力で渡すかのみです。

sys.stdout.flush()を書かないと、オリジナル版と同じように、
まとめ表示になってしまって、結局同じかい！とツッコんでしまった。

1 2	sys.stdout.flush()を書かないと、オリジナル版と同じように、まとめ表示になってしまって、結局同じかい！とツッコんでしまった。

$ tail -50 access_log | logresolve.py

1	$ tail -50 access_log \| logresolve.py

オリジナルも同じだが、逆引き出来ない時の、タイムアウト時間がちょっと長くて
こっちでは短くしたかったのだが、結局面倒で(実力が無くて)やめた。

ubuntu 14.04でffmpegの名前が変わった(avconvになった)

ふと、ffmpegを使おうと思ったら、

$ ffmpeg
ffmpeg: コマンドが見つかりません

1 2	$ ffmpeg ffmpeg: コマンドが見つかりません

あれ、コマンドが無いって言われている。バージョンアップ前にバリバリ使ってた覚えがあるので絶対入っていたはず。

そういえば、ffmpeg時代に、コマンド実行時に、「なんか名前変わるよ」的な警告が出ていた気がする。

うーん。新しい名前が思い出せない。

ちょいと調べたところ、

avconv

になったそうです。今のところオプションとかの違いはなさそう。というかそんなにffmpegを使わないのでわからない。

ちなみにubuntuでのパッケージは、

libav-tools

$ dpkg -S /usr/bin/avconv
libav-tools: /usr/bin/avconv

1 2	$ dpkg -S /usr/bin/avconv libav-tools: /usr/bin/avconv

うーん。ますます忘れそう。

ubuntu 14.04 を無線LANアクセスポイントにする

表題のままなのだが、ubuntu 14.04 を無線LANアクセスポイントにしてみた。

無線LANルータが格安で販売されている今日このごろに、なんでこんなことやってるんだろというツッコミは後にして、前提条件など。

OSはubuntu 14.04 でデスクトップ版です。
無線LANは、過去にamazonで買った格安のこいつ(WLI-UC-GNM)
激安だけど、802.11nまで対応していたはず。期待はしないけど。
モードはブリッジモード。LANと別セグメントにしたくないから。
ノートPC1台つながれば良いので、MACアドレス制限とか、ステルスSSIDとかでやってみる。

設定などなど

NetworkManagerを止める

後の方に気付いたけど、最初に止めた方が無難。

Desktop PCで、固定IP運用なので、そもそもこいつは必要ない。なので、NetworkManagerを止めて、手動での設定に移行する。

まず動いているか確認

$ ps ax | grep Net
NetworkManagerってプロセスがいるか確認

1 2	$ ps ax \| grep Net NetworkManagerってプロセスがいるか確認

いたら止める。

$ sudo stop network-manager

1	$ sudo stop network-manager

自動起動を止める。

$ echo "manual" | sudo tee /etc/init/network-manager.override

1	$ echo "manual" \| sudo tee /etc/init/network-manager.override

今は、こんな方法なんですね。

必要パッケージをインストールする

$ sudo apt-get install bridge-utils hostapd

1	$ sudo apt-get install bridge-utils hostapd

ブリッジのやつと、アクセスポイントのやつ

Network設定を手動に移行する

自分の場合は、既に手動になってた(NetworkManagerは起動してたけど)が念の為確認。

こんな感じの設定、ブリッジ設定もやってます。ミスるとネットワーク繋がらなくなるので要注意。設定終わったら再起動しといた方が無難。

$ sudo cat /etc/network/interfaces
auto lo
iface lo inet loopback

auto eth0
iface eth0 inet manual

auto br0
iface br0 inet static
address 192.168.xxx.20
network 192.168.xxx.0
netmask 255.255.255.0
broadcast 192.168.xxx.255
gateway 192.168.xxx.1
dns-domain example.com
dns-nameservers 192.168.xxx.1
bridge_ports eth0
bridge_stp off
bridge_fd 0
bridge_maxwait 0

$ sudo cat /etc/network/interfaces

auto lo

iface lo inet loopback

auto eth0

iface eth0 inet manual

auto br0

iface br0 inet static

address 192.168.xxx.20

network 192.168.xxx.0

netmask 255.255.255.0

broadcast 192.168.xxx.255

gateway 192.168.xxx.1

dns-domain example.com

dns-nameservers 192.168.xxx.1

bridge_ports eth0

bridge_stp off

bridge_fd 0

bridge_maxwait 0

無線LAN(wlan0とか)のブリッジは、hostapdがよろしくやってくれるのでここでは設定しない。

無線LAN(WLI-UC-GNM)を挿す

別にいつでもいいけど。iwconfigでwlan0(無線LANが1つの場合)が見えてればたぶんOK。

ドライバーとかもよろしくやってくれるはず。

$ iwconfig

wlan0 IEEE 802.11bgn Mode:Master Tx-Power=20 dBm
Retry long limit:7 RTS thr:off Fragment thr:off
Power Management:on

$ iwconfig

wlan0 IEEE 802.11bgn Mode:Master Tx-Power=20 dBm

Retry long limit:7 RTS thr:off Fragment thr:off

Power Management:on

ドライバっぽいやつら

$ lsmod |grep rt2
rt2800usb 27034 0
rt2x00usb 20742 1 rt2800usb
rt2800lib 89076 1 rt2800usb
rt2x00lib 55307 3 rt2x00usb,rt2800lib,rt2800usb
mac80211 630653 3 rt2x00lib,rt2x00usb,rt2800lib
cfg80211 484040 2 mac80211,rt2x00lib
crc_ccitt 12707 1 rt2800lib

$ lsmod |grep rt2

rt2800usb 27034 0

rt2x00usb 20742 1 rt2800usb

rt2800lib 89076 1 rt2800usb

rt2x00lib 55307 3 rt2x00usb,rt2800lib,rt2800usb

mac80211 630653 3 rt2x00lib,rt2x00usb,rt2800lib

cfg80211 484040 2 mac80211,rt2x00lib

crc_ccitt 12707 1 rt2800lib

hostapdの設定

やっと本番。

自分はこんな感じの設定にした。

$ sudo cat /etc/hostapd/hostapd.conf
# APインターフェイスのデバイス名
interface=wlan0
# ブリッジする場合のインターフェイス。
bridge=br0
# ドライバーインターフェイス名
# とりあえずこいつでよい模様。
# lsmodでロードされているモジュールかと思ったら違った。
driver=nl80211
# 動作モード (a = IEEE 802.11a、b = IEEE 802.11b、g = IEEE 802.11g)
hw_mode=g
# ieee80211n: IEEE 802.11n (HT) を有効にする。
# 使えるのか分からないがとりあえず設定
ieee80211n=1
# SSIDssid=YOUR_SSID # &lt;- ここはSSID
# 事前共有鍵
wpa_passphrase=YOUR_PASSPHRASE # &lt;- ここはパスワード
# SSIDをステルスにする
ignore_broadcast_ssid=1
# MACアドレスによる子機のアクセス制限
# 0 = 拒否リストにないものは許可
# 1 = 許可リストにないものは拒否
macaddr_acl=1
# 許可するMACアドレスリスト
accept_mac_file=/etc/hostapd/hostapd.accept
# ようわからん
wpa=2 
channel=11
wpa_key_mgmt=WPA-PSK
wpa_pairwise=CCMP

$ sudo cat /etc/hostapd/hostapd.conf

# APインターフェイスのデバイス名

interface=wlan0

# ブリッジする場合のインターフェイス。

bridge=br0

# ドライバーインターフェイス名

# とりあえずこいつでよい模様。

# lsmodでロードされているモジュールかと思ったら違った。

driver=nl80211

# 動作モード (a = IEEE 802.11a、b = IEEE 802.11b、g = IEEE 802.11g)

hw_mode=g

# ieee80211n: IEEE 802.11n (HT) を有効にする。

# 使えるのか分からないがとりあえず設定

ieee80211n=1

# SSIDssid=YOUR_SSID # <- ここはSSID

# 事前共有鍵

wpa_passphrase=YOUR_PASSPHRASE # <- ここはパスワード

# SSIDをステルスにする

ignore_broadcast_ssid=1

# MACアドレスによる子機のアクセス制限

# 0 = 拒否リストにないものは許可

# 1 = 許可リストにないものは拒否

macaddr_acl=1

# 許可するMACアドレスリスト

accept_mac_file=/etc/hostapd/hostapd.accept

# ようわからん

wpa=2

channel=11

wpa_key_mgmt=WPA-PSK

wpa_pairwise=CCMP

MACアドレス許可リストファイルを作っておく。

 $ echo "xx:xx:xx:xx:xx:xx" |sudo tee /etc/hostapd/hostapd.accept # "xx:xx:xx:xx:xx:xx" は自分のMACアドレスに置き換え。

1	$ echo "xx:xx:xx:xx:xx:xx" \|sudo tee /etc/hostapd/hostapd.accept # "xx:xx:xx:xx:xx:xx" は自分のMACアドレスに置き換え。

パーミッションもきつめにする。

 $ sudo chmod 600 /etc/hostapd/hostapd.conf $ sudo chmod 600 /etc/hostapd/hostapd.accept

1	$ sudo chmod 600 /etc/hostapd/hostapd.conf $ sudo chmod 600 /etc/hostapd/hostapd.accept

自動起動の設定 /etc/default/hostapdのファイルに、DAEMON_CONFを定義

 $ cat /etc/default/hostapd |grep "^DAEMON" DAEMON_CONF="/etc/hostapd/hostapd.conf"

1	$ cat /etc/default/hostapd \|grep "^DAEMON" DAEMON_CONF="/etc/hostapd/hostapd.conf"

デーモン起動

 $ sudo service hostapd start * Starting advanced IEEE 802.11 management hostapd [ OK ]

1	$ sudo service hostapd start * Starting advanced IEEE 802.11 management hostapd [ OK ]

正しく起動すれば、きっと使えるはず。