动态网页爬取
我们使用自动化测试工具selenium
pip install selenium
PhantomJS 基于webkit的无界面浏览器
ubuntu使用apt-get install phantomjs MAC使用bew cask install phantomjs
Chromedriver
与selenium配合因为phantomjs已经不支持selenium
如果使用Chrome进行测试,需要使用xvfb, Xvirtual framebuffer (xvfb)虚拟帧缓冲器, 简单来说它可以直接处理window的图形化功能,并且不会输出到屏幕上,这就摆脱了对可视窗口的依赖
MAC安装brew cask install chromedriver mac安装xvfb(可选) pip install xvfbwrapper