Python语言技术文档

微信小程序技术文档

php语言技术文档

jsp语言技术文档

asp语言技术文档

C#/.NET语言技术文档

html5/css技术文档

javascript

点击排行

您现在的位置:首页 > 技术文档 > Python网络爬虫

利用Pyhton中的requests包进行网页访问测试的方法

来源:中文源码网    浏览:378 次    日期:2024-04-27 11:49:33
【下载文档:  利用Pyhton中的requests包进行网页访问测试的方法.txt 】


利用Pyhton中的requests包进行网页访问测试的方法
为了测试一组网页是否能够访问,采取python中的requests包进行批量的访问测试,并输出访问结果。
一、requests包的安装
打开命令行(win+r输入cmd启动);
打开pythion安装目录下的Python\Python36-32\Scripts,将其中的pip文件拖动到命令行中;
在之后输入install requests命令;
二、访问方法
import requests
fin = open('urls.txt', 'r')
fout = open('result.txt', 'w')
urllist = fin.readlines()
for url in urllist:
try:
url='http://'+url.strip()
r=requests.post(url)
fout.write(url+' : OK with status_code: '+str(r.status_code))
print(url+' : OK with status_code: '+str(r.status_code))
except:
fout.write(url+' : error\n')
print(url+' : error\n')
fin.close()
fout.close()
通过读取文件中的url进行访问;
由于文件中url缺少一些信息,因此统一加上http://;
.strip()方法是为了去掉末尾的\n,否则会访问错误;
之所以采用try/except是因为经过测试发现,有些网站打不开会直接导致程序中断,而有些网站则是能够进去,但是网站本身没有内容或再报一些其他错,所以对于能访问的网站还会进一步检查状态码进行鉴别。
以上这篇利用Pyhton中的requests包进行网页访问测试的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持中文源码网。

相关内容