以前から、特定のWEBサイトにログインして、明細をCSVダウンロードするのを自動化していたのだが、最近”Access Denied” となって失敗するようになった。
おそらく先方のFirewallなりWAFなりのポリシーが厳しくなったのだと思う。httpのレスポンスヘッダーが、BigIPとなっていた。
selenium等のスクレイピング対策をされたのだと思う。
自分の環境は以下
- seleniumはpythonで操作
- ブラウザ環境は、dockerのstandalone-chrome
回避策としては、chromeのオプションに以下を追加する。
|
1 |
--disable-blink-features=AutomationControlled |