Splash

• spalsh 提供 JavaScript 渲染服务，它是一个使用 Twisted 和 QT5 在 Python 3 中实现的支持 HTTP API 调用的轻量级的 web 浏览器。它使用 Twisted 和 QT 的反射机制以使服务完全异步并通过 QT 主循环以便利用 webkit 并发性

功能

• 并行处理多个网页
• 获取 HTML 源代码或截取屏幕截图
• 关闭图像或使用 Adblock Plus 规则使渲染更快
• 在页面上下文中执行自定义 JavaScript
• 可通过 Lua 脚本来控制页面的渲染过程
• 在 Splash-Jupyter 笔记本中开发 Splash Lua 脚本。
• 以 HAR 格式获取详细的渲染信息

docker 运行服务

docker run -d -p 8050:8050 scrapinghub/splash

安装

pip install splash