博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python 爬虫 伪装
阅读量:5835 次
发布时间:2019-06-18

本文共 734 字,大约阅读时间需要 2 分钟。

#coding=utf-8import requestsdef requests_view(response):    import webbrowser    requests_url = response.url    base_url = '' %(requests_url)    base_url = base_url.encode('utf-8')    content = response.content.replace(b"",base_url)    tem_html = open('tmp.html','wb')    tem_html.write(content)    tem_html.close()    webbrowser.open_new_tab("tmp.html")headers = {"User-Agent":'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}proxies = {'https':"114.215.107.94:60443",'http':"211.147.67.150:80"}requests_view(requests.get("http://www.spbeen.com/tool/request_info/",headers=headers,proxies=proxies))

爬虫 默认使用requests时,发送给服务器的user-agent 是request ,如果想要伪装为浏览器,打开浏览器的网络,复制UA  

 

  

转载地址:http://apucx.baihongyu.com/

你可能感兴趣的文章
oracle系列(五)高级DBA必知的Oracle的备份与恢复(全录收集)
查看>>
hp 服务器通过串口重定向功能的使用
查看>>
国外10大IT网站和博客网站
查看>>
android第十一期 - SmoothSwitchLibrary仿IOS切换Activity动画效果
查看>>
zabbix 批量web url监控
查看>>
MongoDB CookBook读书笔记之导入导出
查看>>
shell如何快速锁定所有账号
查看>>
HTML 5实现的手机摇一摇
查看>>
此博客不再发表对自己私事的看法
查看>>
导致Asp.Net站点重启的10个原因
查看>>
【PMP】Head First PMP 学习笔记 第一章 引言
查看>>
抓住云机遇编排工作 搞定复杂IT工作流
查看>>
MYSQL的longtext字段能放多少数据?
查看>>
MTK 平台上如何给 camera 添加一种 preview size
查看>>
云计算最大难处
查看>>
关于数据分析思路的4点心得
查看>>
Memcached安装与配置
查看>>
美团数据仓库的演进
查看>>
SAP被评为“大数据”预测分析领军企业
查看>>
联想企业网盘张跃华:让文件创造业务价值
查看>>