Python语言技术文档

微信小程序技术文档

php语言技术文档

jsp语言技术文档

asp语言技术文档

C#/.NET语言技术文档

html5/css技术文档

javascript

点击排行

您现在的位置:首页 > 技术文档 > Python网络爬虫

Python urlopen 使用小示例

来源:中文源码网    浏览:184 次    日期:2024-04-30 06:46:48
【下载文档:  Python urlopen 使用小示例.txt 】


Python urlopen 使用小示例
一、打开一个网页获取所有的内容
from urllib import urlopendoc = urlopen("http://www.baidu.com").read()print doc
二、获取Http头
from urllib import urlopendoc = urlopen("http://www.baidu.com")print doc.info()print doc.info().getheader('Content-Type')
三、使用代理
1. 查看环境变量
print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])print os.getenv("http_proxy")
2. 设置环境变量
import os os.putenv("http_proxy", "http://proxyaddr:")
3. 使用代理
# Use http://www.someproxy.com:3128 for http proxyingproxies = {'http': 'http://www.someproxy.com:3128'}filehandle = urllib.urlopen(some_url, proxies=proxies)# Don't use any proxiesfilehandle = urllib.urlopen(some_url, proxies={})# Use proxies from environment - both versions are equivalentfilehandle = urllib.urlopen(some_url, proxies=None)filehandle = urllib.urlopen(some_url)

相关内容