在该页面中是唯一的,而且比较接近最后一张手机图片附近的链接,所以可以作为筛选结尾位置的元素,其实筛选的元素只要满足唯一并且接近我们要获取的目标,那么也可以作为我们要选取的元素
'将图片链接的范围大概筛选出来
2然后进行第二次筛选,使用正则表达式pat2 = '//.+?/n7/.+?\.jpg'将手机图片链接筛选出来
3使用urllib.urlretrieve保存链接图片到本地
下面给出python代码
# -*- coding: UTF-8 -*-
import re
import urllib2
import urllib
def craw(url, page):
html1 = urllib2.urlopen(url).read()
html1 = str(html1)
pat1 = '
'
result1 = re.compile(pat1, re.DOTALL).findall(html1)
#获取第一次筛选结果
result1 = result1[0]
#*匹配0个或者多个前面表达式
#.匹配任意字符,加上re.dotall包括换行符
#+匹配1个或者多个前面表达式
#?非贪婪匹配,就是只匹配一组
#筛选出图片链接列表
pat2 = '//.+?/n7/.+?\.jpg'
imagelist = re.compile(pat2).findall(result1)
#x作为图片文件的顺序
x=1
for imageurl in imagelist:
imagename = "C:/Users/Administrator/Desktop/jdphone_img/" + str(page) + str(x) + ".jpg"
imageurl = "http:" + imageurl
try:
#保存图片
urllib.urlretrieve(imageurl, filename=imagename)
except urllib2.URLError as e:
#hasattr判断对象里面是否有name属性
if hasattr(e, "code"):
x+=1
if hasattr(e, "reason"):
x+=1
x+=1
for i in range(1, 3):
url = "http://list.jd.com/list.html?cat=9987,653,655&page=" + str(i)
craw(url, i)
注意:我这里只保存了第一二页的手机图片,在进行第二次筛选的时候正则表达式之所以会加了一个"?"进行非贪婪匹配,也就是一次只筛选出一张手机图片链接,如果不加这个非贪婪匹配那么我们会把第一个含有“//”到最后一个结尾含有.jpg之间的所有内容都会筛选出来,显示是不符合的,在这里建议可以把正则表达式的?去掉,然后看一下输出结果,去体会一下非贪婪匹配是怎么样的。