Python中使用selenium抓取Javascript动态页面

selenium是一套用于测试WebUI的自动化测试框架,它通过调用Chrome、Firefox来完成动态页面(含Javascript)的加载,因此也可以用来完成动态网页抓取。

1、下载selenium

2、启动selenium-standalone

上面启动的这个,是一个网络服务器,它可以接受一个url串,然后在自己进程内启动浏览器,解析并与客户端交互,根据需要将解析结果返回给客户端。

3、安装selenium

这个包是一个selenium的client的python封装,当然也可以自己手动pypi或者pip安装。

文档可以见这里

4、代码

5、在非X11环境下使用

可以通过xvfb来完成,这是一个模拟xserver的程序,可以在没有xserver的机器上运行以来于xserver服务的程序。

运行

6、关于和Scrapy结合

大家自行参考我之前写的文章《Python抓取框架Scrapy快速入门教程》吧,不复杂的。

Leave a Reply

Your email address will not be published.