python | マイノリティでいこう

SeleniumでAccess Deniedとなったときの対処方法

以前から、特定のWEBサイトにログインして、明細をCSVダウンロードするのを自動化していたのだが、最近”Access Denied” となって失敗するようになった。

おそらく先方のFirewallなりWAFなりのポリシーが厳しくなったのだと思う。httpのレスポンスヘッダーが、BigIPとなっていた。

selenium等のスクレイピング対策をされたのだと思う。

自分の環境は以下

seleniumはpythonで操作
ブラウザ環境は、dockerのstandalone-chrome

回避策としては、chromeのオプションに以下を追加する。

--disable-blink-features=AutomationControlled

1	--disable-blink-features=AutomationControlled

pythonで標準出力のバッファを制御する

logresolveコマンドのpython版を作った時に知ったので、メモを残す。

内容は表題のとおり。

以下2パターンがある模様。

起動時のオプション(-u, unbuffered)を指定する。

Shell

# python -u logresolve.py

1

# python -u logresolve.py
sysモジュールからハンドラにアクセスし、都度flushする。

Python

import sys print "Hello world." sys.stdout.flush()

1
2
3

import sys
print "Hello world."
sys.stdout.flush()

すぐ忘れそう。。。

apacheのログを後からホスト名変換(python編)

前に、同じ記事を書いたが、なんかubuntuをアップグレードした影響なのか、ちょっと挙動が変わった。

前は、標準入力に渡してあげると、順次変換が実行されていたのだが、今は、まとめて結果が表示される。

多少遅くても、実行時眺めていたかったので、それならpythonで作ればいいやんと思ってとてつもなくと汚く書いた。汚い！！！

#!/usr/bin/env python

import sys
import socket
if hasattr(socket, 'setdefaulttimeout'):
    socket.setdefaulttimeout(1)

def line_get_host(line,before_lines, before_host):
    lines = line.split(' ')
    before = before_lines.split(' ')

    if (lines[0] != before[0]):
        try:
            host = socket.gethostbyaddr(lines[0])[0]
            
        except:
            host = lines[0]

    else:
        host = before_host

    lines[0] = host

    new_lines = &quot; &quot;.join(lines)
    return new_lines, host


if __name__ == '__main__':
    argvs = sys.argv
    argvc = len(argvs)

    if ( argvc == 2):
        of = open(argvs[1], 'r')

    else:
        of = sys.stdin

    before_line = &quot;&quot;
    before_host = &quot;&quot;
    for l in sys.stdin:
        l = l.rstrip('rn')
        ret = line_get_host(l,before_line, before_host),
        print ret[0][0], 
        sys.stdout.flush()
        before_line = l
        before_host = ret[0][1]

#!/usr/bin/env python

import sys

import socket

if hasattr(socket, 'setdefaulttimeout'):

socket.setdefaulttimeout(1)

def line_get_host(line,before_lines, before_host):

lines = line.split(' ')

before = before_lines.split(' ')

if (lines[0] != before[0]):

try:

host = socket.gethostbyaddr(lines[0])[0]

except:

host = lines[0]

else:

host = before_host

lines[0] = host

new_lines = " ".join(lines)

return new_lines, host

if __name__ == '__main__':

argvs = sys.argv

argvc = len(argvs)

if ( argvc == 2):

of = open(argvs[1], 'r')

else:

of = sys.stdin

before_line = ""

before_host = ""

for l in sys.stdin:

l = l.rstrip('rn')

ret = line_get_host(l,before_line, before_host),

print ret[0][0],

sys.stdout.flush()

before_line = l

before_host = ret[0][1]

ファイル名を渡すか、標準入力で渡すかのみです。

sys.stdout.flush()を書かないと、オリジナル版と同じように、
まとめ表示になってしまって、結局同じかい！とツッコんでしまった。

1 2	sys.stdout.flush()を書かないと、オリジナル版と同じように、まとめ表示になってしまって、結局同じかい！とツッコんでしまった。

$ tail -50 access_log | logresolve.py

1	$ tail -50 access_log \| logresolve.py

オリジナルも同じだが、逆引き出来ない時の、タイムアウト時間がちょっと長くて
こっちでは短くしたかったのだが、結局面倒で(実力が無くて)やめた。

YAMAHAルータの古いファームウェアをダウンロード

最近のYAMAHAルータは、フォームフェアのアップデートも、ルータ内でコマンド実行すれば、http経由で最新のファームウェアを適用してくれたりと非常に便利なのだが、ごく稀に検証時などで古いファームウェアが欲しくなる時がある。

基本的にYAMAHAのスタンスは、最新バージョンのみ公開なのだが、調べて見たら古いバージョンもダウンロード出来そう。

都度思い出すのも、面倒くさいので、専用のページを作ってみた。

YAMAHAの古いファーム配布サイト

※週一回更新

スクリプトで更新してるので、YAMAHAのページの仕様が変わるとコケると思います。

とりあえず、自分が使いそうなルータをピックアップしてます。

ネットボランチ系(今もそう読んだっけ？)は入ってません。

ダウンロードしたファームウェアを、ルータにhttp経由で渡すにはこちらがおすすめ。

python環境が必須ですが。。。:-P

pythonでお手軽httpサーバ

ふとファイルのやり取りを簡単にWEBで渡せたらいいのにな。と思うことがある。最近のネットワーク機器だと、httpでのダウンロードに対応してたりするので、PC側にあるファームウェアをhttpで簡単に公開出来たら便利。

そんなときには、pythonさんのお力を借りる。

公開したいディレクトリで、

$ python -m SimpleHTTPServer

1	$ python -m SimpleHTTPServer

ってやるだけ。デフォルトでは、8000番ポートで公開される。

http://localhost:8000

ってやれば、カレントディレクトリのファイル一覧が表示される。

ポートを変更したい場合は、引数にポート番号を渡してあげるだけ。

$ python -m SimpleHTTPServer 8080

1	$ python -m SimpleHTTPServer 8080

あー。とてつもなく便利

なお当然ですが、閉じた環境でのみご利用ください。

django1.5にアップデート時のurl

自分の開発環境のubuntuを13.04にアップデートしたら、
pythonのvirtualenv環境が変になった。

virtualenv環境を新しくして、pipでdjangoをインストールしたところ
1.4から1.5に上がってしまい若干の修正が必要だった。

'url' requires a non-empty first argument. The syntax changed in Django 1.5, see the docs.

1

'url' requires a non-empty first argument. The syntax changed in Django 1.5, see the docs.

こんなエラーが表示される。

調べたところ、template内の、{% url foo.bar %}が問題らしい。

ここを

{% url "foo.bar" %}

1	{% url "foo.bar" %}

とクオートで囲んであげれば、現象回避できる。

自分の場合は、さほど数が多く無いので手動で行ったが、
多い場合は、スクリプトで対処が必要かと。

http://stackoverflow.com/questions/13590699/migrate-url-tags-to-django-1-5

テンプレートの、拡張子がhtmlならこんな感じでしょうか。(未検証)

(一応sed時に*.BKでバックアップも残して)

$ find . -type f -a -name "*.html" -print0 | xargs -0 sed -i.BK -r -e "s#\{% url ([a-zA-Z0-9_.-]+)#\{% url '\1'#g"

1	$ find . -type f -a -name "*.html" -print0 \| xargs -0 sed -i.BK -r -e "s#\{% url ([a-zA-Z0-9_.-]+)#\{% url '\1'#g"