close
之前寫的crawler 十一月的事情了，
昨天想說把它在開啟來跑不料 404發生了。
python urltest3.py
Traceback (most recent call last):
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 404: Not Found
Exit 1
使用httpfox , tamper data看了也沒啥異狀，
昨天晚上弄到三點多，
今天早上起來就在想，用了header的方式都試了。
掛了sock5的proxy使用server的ip來用瀏覽器瀏覽看看，
是不是ip被ban了...
果不其然，
連回去bbs的server測試居然是可以的，
然後找了proxy，掛了還是不行。
原來，
X-Forwarded-For[15] a de facto standard for identifying the originating IP address of a client connecting to a web server through an HTTP proxy or load balancer
他還有看一個這個。
順手把 header內的XFF改掉，果然就可以了。
我的青春阿..... ....
全站熱搜
留言列表
