【下载文档:  python3学习之Splash的安装与实例教程.txt 】

---

python3学习之Splash的安装与实例教程
前言
Splash是一个javascript渲染服务。它是一个带有HTTP API的轻量级Web浏览器，使用Twisted和QT5在Python 3中实现。QT反应器用于使服务完全异步，允许通过QT主循环利用webkit并发。
一些Splash功能：
并行处理多个网页
获取HTML源代码或截取屏幕截图
关闭图像或使用Adblock Plus规则使渲染更快
在页面上下文中执行自定义JavaScript
可通过Lua脚本来控制页面的渲染过程
在Splash-Jupyter 笔记本中开发Splash Lua脚本。
以HAR格式获取详细的渲染信息
1、Scrapy-Splash的安装
Scrapy-Splash的安装分为两部分，一个是Splash服务的安装，具体通过Docker来安装服务，运行服务会启动一个Splash服务，通过它的接口来实现JavaScript页面的加载；另外一个是Scrapy-Splash的Python库的安装，安装后就可在Scrapy中使用Splash服务了，下面我们分三部份来安装：
(1)安装Docker
#安装所需要的包：
yum install -y yum-utils device-mapper-persistent-data lvm2
#设置稳定存储库：
yum-config-manager --add-repo http://download.docker.com/linux/centos/docker-ce.repo
#开始安装DOCKER CE：
yum install docker-ce
#启动dockers：
systemctl start docker
#测试安装是否正确：
docker run hello-world
(2)安装splash服务
通过Docker安装Scrapinghub/splash镜像，然后启动容器，创建splash服务
docker pull scrapinghub/splash
docker run -d -p 8050:8050 scrapinghub/splash
#通过浏览器访问8050端口验证安装是否成功
(3)Python包Scrapy-Splash安装
pip3 install scrapy-splash
2、Splash Lua脚本
运行splash服务后，通过web页面访问服务的8050端口如:http://localhost:8050即可看到其web页面，如下图：
上面有个输入框，默认是http://google.com，我们可以换成想要渲染的网页如：http://www.baidu.com然后点击Render me按钮开始渲染，页面返回结果包括渲染截图、HAR加载统计数据、网页源代码:
从HAR中可以看到，Splash执行了整个页面的渲染过程，包括CSS、JavaScript的加载等，通过返回结果可以看到它分别对应搜索框下面的脚本文件中return部分的三个返回值，html、png、har：
function main(splash, args)
assert(splash:go(args.url))
assert(splash:wait(0.5))
return {
html = splash:html(),
png = splash:png(),
har = splash:har(),
}
end
这个脚本是使用Lua语言写的，它首先使用go()方法加载页面，wait()方法等待加载时间，然后返回源码、截图和HAR信息。
现在我们修改下它的原脚本，访问www.baidu.com，通过javascript脚本，让它返回title，然后执行：
function main(splash, args)
assert(splash:go("http://www.baidu.com"))
assert(splash:wait(0.5))
local title = splash:evaljs("document.title")
return {
title = title
}
end
#返回结果：
Splash Response: Object
title: "百度一下，你就知道"
由此可以确定Splash渲染页面的过程是通过此入口脚本来实现的，那么我们可以修改此脚本来满足我们对抓取页面的分析和结果返回，但此函数但名称必须是main()，它返回的结果是一个字典形式也可以返回字符串形式的内容：
function main(splash)
return {
hello="world"
}
end
#返回结果
Splash Response: Object
hello: "world"
function main(splash)
return "world"
end
#返回结果
Splash Response: "world"
3、Splash对象的属性与方法
在前面的例子中，main()方法的第一参数是splash，这个对象它类似于selenium中的WebDriver对象，可以调用它的属性和方法来控制加载规程，下面介绍一些常用的属性：
splash.args：该属性可以获取加载时陪在的参数，如URL，如果为GET请求，它可以获取GET请求参数，如果为POST请求，它可以获取表单提交的数据，splash.args可以使用函数的第二个可选参数args来进行访问
function main(splash,args)
local url = args.url
end
#上面的第二个参数args就相当于splash.args属性，如下代码与上面是等价的
function main(splash)
local url=splash.args.url
end
splash.js_enabled：启用或者禁用页面中嵌入的JavaScript代码的执行，默认为true，启用JavaScript执行
splash.resource_timeout：设置网络请求的默认超时，以秒为单位，如设置为0或nil则表示无超时：splash.resource_timeout=nil
splash.images_enabled：启用或禁用图片加载，默认情况下是加载的：splash.images_enabled=true
splash.plugins_enabled：启用或禁用浏览器插件，默认为禁止：splash.plugins_enabled=false
splash.scroll_position：获取和设置主窗口的当前位置：splash.scroll_position={x=50,y=600}
function main(splash, args)
assert(splash:go('http://www.toutiao.com'))
splash.scroll_position={y=400}
return {
png = splash:png()
}
end
#它会向下滚动400像素来获取图片
splash.html5_media_enabled： 启用或禁用HTML5媒体,包括HTML5视频和音频(例如