SeleniumでAccess Deniedとなったときの対処方法

以前から、特定のWEBサイトにログインして、明細をCSVダウンロードするのを自動化していたのだが、最近”Access Denied” となって失敗するようになった。

おそらく先方のFirewallなりWAFなりのポリシーが厳しくなったのだと思う。httpのレスポンスヘッダーが、BigIPとなっていた。

selenium等のスクレイピング対策をされたのだと思う。

自分の環境は以下

• seleniumはpythonで操作
• ブラウザ環境は、dockerのstandalone-chrome

回避策としては、chromeのオプションに以下を追加する。

pythonのコードとしては、以下を追加。

全体的なコードは以下。

seleniumでWEBページにアクセスした場合、javascriptの navigator.webdriver が true になるらしい。

こちらを見てブロックしている模様。上のオプションは、こちらを false にしている。 実際にfalseになっているかは、chrome の Devtools で値を確認するだけ。

trueになっているとき

falseになっているとき

自分の環境では、このオプションでブロックを回避することができた。