一位firefox抓取速度慢,想加速,发现通过无界面的浏览器取抓取就可以快很多,因为不用进行浏览器页面渲染,这个可是非常耗费时间的。这个理由够了把。
因为ghostdriver已经和phantomjs合二为一了,所以直接安装phantomjs(phantomis就是一个基于webkit的无界面浏览器,浏览器能干的他大多能干,就是不渲染出最后的网页)
直接下载phantomjs就好,由于各个平台的安装模式差异较大,就不多介绍了,百度一把就好。
linux or mac 备忘一句
#mac拥护请在地址下载,否则出错kill:9
#https://github.com/eugene1g/phantomjs/releases
#软链接phantomjs
ln -s /where/dir/phantomjs /usr/local/bin/phantomjs
#coding=utf-8
from selenium import webdriver
import time
import os
br=webdriver.PhantomJS('phantomjs')
baseurl="http://quote.eastmoney.com/"
indexurl="stocklist.html"
gourl="%s%s"%(baseurl,indexurl)
br.get(gourl)
print br.title
time.sleep(5)
br.quit()
#coding=utf-8
from selenium import webdriver
import time
import os
br=webdriver.PhantomJS('phantomjs')
baseurl="http://quote.eastmoney.com/"
indexurl="stocklist.html"
gourl="%s%s"%(baseurl,indexurl)
br.get(gourl)
br.save_screenshot('./股票列表.png')
print "完成"
br.quit()
2025 - 快车库 - 我的知识库 重庆启连科技有限公司 渝ICP备16002641号-10
企客连连 表单助手 企服开发 榜单123