selenium库
使用selenium时,我们是将浏览器打开,等待所有数据都加载到Elements中之后,再把这个网页当做静态网页爬取
获取数据的格式是这样的
使用selenium时,解析和提取是同步的,提取数据的方法有以下几种
如果把方法中的element换成复数elements,可以提取多个元素
需要注意的是,用elements提取出来后,返回的是一个列表,需要再把列表内的元素取出来才能继续进一步的操作哦
当然,我们使用自动打开浏览器后,当然也希望浏览器帮我们做一些自动点击和输入的操作
Selenium操作元素的方法有这么几种
主要使用的还是模拟按键输入,以及点击元素这两个
但是,如果在做爬虫时,不需要打开浏览器,爬虫的目的是爬到数据,而不是观看浏览器的操作过程,在这种情况下,就可以使用浏览器的静默模式
总结一下,使用selenium的过程是这样的
|