Python3.4编程实现简单抓取爬虫功能示例


            本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考，具体如下：





import urllib.request

import urllib.parse

import re

import urllib.request,urllib.parse,http.cookiejar

import time

def getHtml(url):

  cj=http.cookiejar.CookieJar()

  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]

  urllib.request.install_opener(opener)

  page = urllib.request.urlopen(url)

  html = page.read()

  return html

#print ( html)

#html = getHtml("http://weibo.com/")

def getimg(html):

  html = html.decode('utf-8')

  reg='"screen_name":"(.*?)"'

  imgre = re.compile(reg)

  src=re.findall(imgre,html)

  return src

#print ("",getimg(html))

uid=['2808675432','3888405676','2628551531','2808587400']

for a in list(uid):

  print (getimg(getHtml("http://weibo.com/"+a)))

  time.sleep(1)







更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。