Linux | マイノリティでいこう

perl難読化 Acme::EyeDrops

とある案件で、perlの難読化する必要があったので調べたら以下のモジュールに行き着いた。

Acme::EyeDrops

perlスクリプトを記号のみに変換してくれるのだが、変換時に指定したアスキーアートにしてくれる。

ubuntuだとlibacme-eyedrops-perlというパッケージで一発インストール。その他はcpanとかで簡単にインストール出来ると思う。

変換前のperlを用意(hoge.pl)

for(my $i; $i < 10 ; $i++) {
print "hello world $i\n";
}

for(my $i; $i < 10 ; $i++) {

print "hello world $i\n";

}

これを変換するために、以下のperlを準備(eyedrops.pl)

use Acme::EyeDrops qw(sightly);
print sightly( { Shape       => 'bottle',
SourceFile  => $1,
Regex       => 1 } );

use Acme::EyeDrops qw(sightly);

print sightly( { Shape => 'bottle',

SourceFile => $1,

Regex => 1 } );

eyedrops.plを実行して第一引数に、変換したいperlファイルを指定する。

$ perl eyedrops.pl hoge.pl
1 shapes completed.
        ;$:='.'^'~'
        ;$~='@'|'('
        ;$^=')'^'['
        ;$/='`'|'.'
         ;       (
         (       (
         (       (
         ($,))))))
        ='('^'}';$\
        ='`'|'!';$:
        =')'^'}';$~
        ='*'|'`';$^
       ='+'^"\_";$/=
       '&amp;'|('@');$,=
      '['&amp;'~';$\=','^
      '|';$:='.'^'~';
     $~='@'|'(';$^=')'
    ^'[';$/='`'|'.';$,=
   '('^'}';$\='`'|'!';$:
  =')'^'}';$~='*'|'`';$^=
 '+'^'_';$/='&amp;'|'@';$,='['
&amp;'~';$\=','^'|';$:='.'^'~';
$~='@'|'(';$^=')'^('[');$/=
'`'|'.';$,='('^'}';$\="`"|
'!';$:=')'^'}';$~='*'|"`";
$^='+'^'_';$/='&amp;'|('@');$,=
'['&amp;'~';$\=','^'|';$:="\."^
'~';$~='@'|'(';$^=')'^"\[";
$/='`'|'.';$,='('^('}');$\=
'`'|'!';$:=')'^'}';$~="\*"|
'`';$^='+'^'_';$/='&amp;'|"\@";
$,='['&amp;'~';$\=','^('|');$:=
'.'^'~';$~='@'|'(';$^="\)"^
'[';$/='`'|'.';$,='('^"\}";
$\='`'|'!';$:=')'^('}');$~=
'*'|'`';$^='+'^'_';$/="\&amp;"|
'@';$,='['&amp;'~';$\=','^"\|";
$:='.'^'~';$~='@'|('(');$^=
')'^'[';$/='`'|'.';$,="\("^
'}';$\='`'|'!';$:=')'^"\}";
$~='*'|'`';$^='+'^('_');$/=
'&amp;'|'@';$,='['&amp;'~';$\="\,"^
'|';$:='.'^'~';$~='@'|"\(";
$^=')'^'[';$/='`'|('.');$,=
'('^'}';$\='`'|'!';$:="\)"^
'}';$~='*'|'`';$^='+'^"\_";
$/='&amp;'|'@';$,='['&amp;('~');$\=
','^'|';$:='.'^'~';$~="\@"|
'(';$^=')'^'[';$/='`'|"\.";
$,='('^'}';$\='`'|('!');$:=
')'^'}';$~='*'|'`';$^="\+"^
'_';$/='&amp;'|'@';$,='['&amp;"\~";

$ perl eyedrops.pl hoge.pl

1 shapes completed.

;$:='.'^'~'

;$~='@'|'('

;$^=')'^'['

;$/='`'|'.'

; (

( (

($,))))))

='('^'}';$\

='`'|'!';$:

=')'^'}';$~

='*'|'`';$^

='+'^"\_";$/=

'&'|('@');$,=

'['&'~';$\=','^

'|';$:='.'^'~';

$~='@'|'(';$^=')'

^'[';$/='`'|'.';$,=

'('^'}';$\='`'|'!';$:

=')'^'}';$~='*'|'`';$^=

'+'^'_';$/='&'|'@';$,='['

&'~';$\=','^'|';$:='.'^'~';

$~='@'|'(';$^=')'^('[');$/=

'`'|'.';$,='('^'}';$\="`"|

'!';$:=')'^'}';$~='*'|"`";

$^='+'^'_';$/='&'|('@');$,=

'['&'~';$\=','^'|';$:="\."^

'~';$~='@'|'(';$^=')'^"\[";

$/='`'|'.';$,='('^('}');$\=

'`'|'!';$:=')'^'}';$~="\*"|

'`';$^='+'^'_';$/='&'|"\@";

$,='['&'~';$\=','^('|');$:=

'.'^'~';$~='@'|'(';$^="\)"^

'[';$/='`'|'.';$,='('^"\}";

$\='`'|'!';$:=')'^('}');$~=

'*'|'`';$^='+'^'_';$/="\&"|

'@';$,='['&'~';$\=','^"\|";

$:='.'^'~';$~='@'|('(');$^=

')'^'[';$/='`'|'.';$,="\("^

'}';$\='`'|'!';$:=')'^"\}";

$~='*'|'`';$^='+'^('_');$/=

'&'|'@';$,='['&'~';$\="\,"^

'|';$:='.'^'~';$~='@'|"\(";

$^=')'^'[';$/='`'|('.');$,=

'('^'}';$\='`'|'!';$:="\)"^

'}';$~='*'|'`';$^='+'^"\_";

$/='&'|'@';$,='['&('~');$\=

','^'|';$:='.'^'~';$~="\@"|

'(';$^=')'^'[';$/='`'|"\.";

$,='('^'}';$\='`'|('!');$:=

')'^'}';$~='*'|'`';$^="\+"^

'_';$/='&'|'@';$,='['&"\~";

※ラクダが一番好きですが、横幅が足りないので味気ないボトルにしました。

一番最初の1 shapes completed.を除く部分がperlスクリプトになる。そいつを実行すると変換前と同じ動作をします。

また、今回の案件では、requireを多用していたのだが、その部分は別途追加してあげないと上手く動作しませんでした。

また、アスキーアートの形は、# のみで形どったファイルを用意してあげれば、簡単に定義出来ます。

うーん。面白い。

たぶんShapeで指定できるのは、このくらいあります。

a
acme
adrianh
alien
alpaca
autrijus
baghdad
beer
bighorn
bleach
bottle
bottle2
bottle3
bra
buffy
buffy2
buffy3
buffy4
camel
camel2
camel3
campm
candle
china1
coffee
cricket
damian
dan
debian
dipsy
eugene
eye
flag_canada
gelly
golfer
halloween
heart
hipowls
japh
jon
jon_oxer
kangaroo
kansai_pm
kermit
koaladile
larry
larry2
llama
london
map_australia
map_italy
map_japan
map_uk
map_world1
map_world2
map_world3
merlyn
mongers
moose
moosecamel
mosquito
music
naw
opera
panda
parrot
pgolf
pony
pony2
pugs
pugs2
riding
rose
santa
santa2
saturn
schwern
schwern2
simon
smiley
smiley2
smiley3
snow
spider
spoon
tonick
tpr
uml
undies
window
writing_perl
yanick
yanick2
yanick3
yanick4

サーバの管理ボードをリセットする ipmitool mc reset cold

最近のサーバだと大体付いているipmi

統一規格のため、メーカが違っても同じように使えるし、linuxでも問題ないのでかなり重宝している。

リモートから電源を上げられたり、OS不要でボードの状態を確認出来たりと、今までお手上げ状態だった状況からもなんとか復旧出来たりする。

ただ、たまにipmiの管理ボード自体がおかしくなってるときがある。(特に管理WEBへのhttpsでコケる気がする)

そんなときは、管理ボード自体を再起動できる。しかもOS側は動作したままで！

# ipmitool mc reset cold

1	# ipmitool mc reset cold

上記実施後、5分くらいで管理ボードの再起動が終わります。IBM、NEC、FUJITSU筐体で試してはいるが、どのメーカもOS側には何ら問題はなかったので他メーカでも問題無いと思う。

また、上記コマンドですが、debian系ならそのままの名前ipmitoolでインストール出来ると思う。

centosでは、OpenIPMI-toolsでいけると思う。追加のリポジトリ(remiとかrpmforgeとか)が必要かも。

django1.5にアップデート時のurl

自分の開発環境のubuntuを13.04にアップデートしたら、
pythonのvirtualenv環境が変になった。

virtualenv環境を新しくして、pipでdjangoをインストールしたところ
1.4から1.5に上がってしまい若干の修正が必要だった。

'url' requires a non-empty first argument. The syntax changed in Django 1.5, see the docs.

1

'url' requires a non-empty first argument. The syntax changed in Django 1.5, see the docs.

こんなエラーが表示される。

調べたところ、template内の、{% url foo.bar %}が問題らしい。

ここを

{% url "foo.bar" %}

1	{% url "foo.bar" %}

とクオートで囲んであげれば、現象回避できる。

自分の場合は、さほど数が多く無いので手動で行ったが、
多い場合は、スクリプトで対処が必要かと。

http://stackoverflow.com/questions/13590699/migrate-url-tags-to-django-1-5

テンプレートの、拡張子がhtmlならこんな感じでしょうか。(未検証)

(一応sed時に*.BKでバックアップも残して)

$ find . -type f -a -name "*.html" -print0 | xargs -0 sed -i.BK -r -e "s#\{% url ([a-zA-Z0-9_.-]+)#\{% url '\1'#g"

1	$ find . -type f -a -name "*.html" -print0 \| xargs -0 sed -i.BK -r -e "s#\{% url ([a-zA-Z0-9_.-]+)#\{% url '\1'#g"

vimのNERDTreeで特定のファイルを表示しない方法

なんてことはない、.vimrcにNERDTreeIgnoreを指定するだけ。

pycファイルを表示しない場合は、

let NERDTreeIgnore = ['\.pyc']

1	let NERDTreeIgnore = ['\.pyc']

複数指定したい場合は、カンマで区切る

let NERDTreeIgnore = ['\.pyc$', '\.png$']

1	let NERDTreeIgnore = ['\.pyc$', '\.png$']

etckeeperでLinuxサーバのコンフィグバージョン管理

長年悩んでいたが、linuxサーバのコンフィグ(/etc以下)のバージョン管理について良さげなのを見つけた。

その名もetckeeper

gitやbzrなどのバージョン管理と連携してくれる見たいで、おそらく要望通り。

動作としては、/etc/内にリポジトリを作り、一日一回更新してくれる模様。yum実行後にも更新してくれるらしい。

CentOS6でのインストールはepelが追加されていればyumで一発

# yum install etckeeper

1	# yum install etckeeper

インストール後、初期化して上げます。

# etckeeper init
Initialized empty Git repository in /etc/.git/

1 2	# etckeeper init Initialized empty Git repository in /etc/.git/

とりあえず最初のcommitをします。

# etckeeper commit "First commit"
[master (root-commit) 482c04a] First commit
1549 files changed, 98856 insertions(+), 0 deletions(-)
create mode 100755 .etckeeper
create mode 100644 .gitignore
--snip--

# etckeeper commit "First commit"

[master (root-commit) 482c04a] First commit

1549 files changed, 98856 insertions(+), 0 deletions(-)

create mode 100755 .etckeeper

create mode 100644 .gitignore

--snip--

あとは、定期的に自動でcommitされるはずです。
基本gitなんで、ステータスとかログは、gitコマンドで見れます。

まだインストールしただけなんで、感想とかは無いです。

scpのETAって何？

scpしていると右下に、ETAと時間らしきものが表示される。

# scp -l 30000 foo@example.com:~/hoge.tgz ./
foo@example.com's password:

hoge.tgz       5% 1094MB   3.6MB/s 1:32:30 ETA

# scp -l 30000 foo@example.com:~/hoge.tgz ./

foo@example.com's password:

hoge.tgz 5% 1094MB 3.6MB/s 1:32:30 ETA

どうやら(Estimated Time of Arrival)の略らしい。

翻訳サイトで確認すると、(到着予定時刻)らしい。

まー予想通り。

fallocateで素早く仮想化ディスクを用意する

今まで、仮想環境のディスクファイルなんかで使う大きめのファイルといえばddでzero fillをしていたが、

実際にディスクにzeroを書き込むので遅くて困っていた。

1Gファイルを作るとき

$ dd if=/dev/zero of=1G.bin bs=1M count=1024

1	$ dd if=/dev/zero of=1G.bin bs=1M count=1024

最近だとfallocateの方が良いっぽい。

同じく1Gファイルを作るとき

$ fallocate -l 1G 1G.dat

1	$ fallocate -l 1G 1G.dat

sparse fileじゃなくてちゃんと確保してくれている模様。

ext4からの機能らしい。

bashのeオプションを一時的に無視する

シェルスクリプトを書いていると、エラー処理を書くのが面倒で、とりあえずbashをeオプションで起動しておけばいいや程度に思っていたりします。シェルスクリプト中のどこかでエラーが出ればスクリプト自体を終了してくれるので何かと便利なんですが、途中無視できる程度のエラー処理で止まって困ることもあるので、そこを何とか無視する方法を調べました。まーmanに書いてあったんでちょっと読めば気付くんでしょうが自分は結構時間かかりました。

-e 単純なコマンド (前述のシェルの文法セクションを参照) が 0 でないステータスで終了した場合、即座に終了します。ただし失敗したコマンドが until または while ループの一部である、 if 文の一部である、 && または ││ リストの一部である、コマンドの返り値が ! で反転されている、のいずれかの場合にはシェルは終了しません。

上の条件に当てはめてしまえばいいだけです。

サンプルとして、以下のようなスクリプト。

#!/bin/bash -e

echo "最初のecho"
/bin/false || echo エラーでも続行

echo "多分ここで終わる"
/bin/false

echo "これは出ないはず"

#!/bin/bash -e

echo "最初のecho"

/bin/false || echo エラーでも続行

echo "多分ここで終わる"

/bin/false

echo "これは出ないはず"

最初のfalseでは、止まらず次のfalseで止まって、最後のechoは処理されないはずです。

メモリをメッチャ使ってみる

前回cpuに負荷をかけてload averageをメッチャ上げてみたが、今度は、メモリをひたすら消費するとどうなるか見てみます。

今回もwatchdogタイマーの動作具合を見るのが目的です。

まず、以下のようなコードを書いて

#include <stdio.h>
#include <stdlib.h>

int main(  )
{
int i = 0;
while (1){
char *str;

/* 文字列のためのメモリを確保 */
str = (char *)malloc(1024);
if(str == NULL) {
printf("メモリが確保できません\n");
printf("10秒待ちます\n");
sleep(10);
}
if ( (i % 10240) == 0 ){
printf("%d MBytes\n", (i / 1024 ));
}
i++;

}
return 0;
}

#include <stdio.h>

#include <stdlib.h>

int main( )

{

int i = 0;

while (1){

char *str;

/* 文字列のためのメモリを確保 */

str = (char *)malloc(1024);

if(str == NULL) {

printf("メモリが確保できません\n");

printf("10秒待ちます\n");

sleep(10);

}

if ( (i % 10240) == 0 ){

printf("%d MBytes\n", (i / 1024 ));

}

i++;

}

return 0;

}

コンパイルして、

./gcc -o mem_full mem_full.c

1	./gcc -o mem_full mem_full.c

実行します。

$ ./mem_full

0 MBytes
10 MBytes
20 MBytes
-- snip --

2600 MBytes
2610 MBytes
強制終了

$ ./mem_full

0 MBytes

10 MBytes

20 MBytes

-- snip --

2600 MBytes

2610 MBytes

強制終了

メモリをジワリジワリと消費して行って、そのうち強制終了されると思います。

その間、経過を見るため他のコンソールでtopします。

$ top
PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
7219 gpowers   20   0  867m 866m  344 R 73.0 45.7   1:32.67 mem_full

$ top

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

7219 gpowers 20 0 867m 866m 344 R 73.0 45.7 1:32.67 mem_full

RESの値が搭載メモリ近くになると、強制終了すると思います。このRESの値が実際に確保する値です。malloc時に

もっと多めに取れば、早く確保出来ると思ったのですが、あまり値が大きいと仮想メモリ(VIRT)ばかり増えて、

実メモリ(RES)が少ししか増えなかったので、小さめにしていっぱい回します。

RESが搭載メモリ近くになると、コンソールの反応とかも悪くなりますが、しばらくすると対象プロセス(mem_full)が

強制終了されます。この強制終了は、有名なoom-killerさんが行なってくれます。

syslogを見ればそんなメッセージがあると思います。

ただ、必ず予想していたプロセス(mem_full)とは限らず、他の正常プロセスも落とされる可能性があります。

ここまでやってメモリを食い尽くすプロセスがいても、きっとoom-killerさんが良きに計らってくれるので

watchdogタイマーで落ちることは無さそうです。

せっかくなので、今度は、メモリ食い尽くしプログラムを同時多発的に実行してみます。

$ for i in `seq 1 100`; do ./mem_full & done

1	$ for i in `seq 1 100`; do ./mem_full & done

とりあえず100個実行します。topで見るとわんさかプロセスがいます。

コンソールのレスポンスも激遅になり、topの表示も更新されなくなるが

地味にoom-killerさんも動いており、watchdogのリセットが実行される形跡はありません。

watchdogデバイスに定期的に書き込んでいるのは、CentOSにあったその名もwatchdogな

パッケージでインストールしたデーモンなんですが、こいつが何とか頑張っているようです。

この状況だとコマンドも打てないので、強制的に電源を落とすしかありませんでした。

watchdogの意味なし。

一応CentOSのwatchdogでは、load averageにしきい値を設定出来そうなので

それで対処するのもありかと思います(未検証)。

ただしきい値の設定は頭の痛いところです。因みにこのテスト実施時は160くらいいってました。

また、デーモンタイプのwatchdogでは性能が良すぎるのかとも思います。都度コマンドを実行して

デバイスに書き込むタイプの簡易的なものなら、おそらくコマンドの実行が出来ずwatchdogからリセットがかかる可能性が高い気がします。

うーん。watchdogに期待しすぎなのかもしれません。

カテゴリー: Linux

大きい画像ファイルを印刷したい(PosteRazor)