python phantomjs怎么获取cookie

2024年11月20日 08:47
有1个网友回答
网友(1):

最开始是以为爬虫被识别出来所以被阻拦了,但是header各种伪装都试过了,但是依旧被拦截,各种苦恼之后,无意中刷新页面卡了一下,才从chrom中间看到使用浏览器正常访问也会出现一个521的错误
对,一般的爬虫框架或者是使用urllib都会在遇到5开头的错误状态后抛出错误,但是不会返回报文体或者执行后续的callback,于是爬虫就这样终止了。