Python + Selenium +Chrome 批量下载网页代码修改
主要修改以下代码可以调用 本地的 user-agent.txt 和 cookie.txt
来达到在登陆状态下 批量打开并下载网页，以网页ID来保存为网页文件名

导入 webdriver

from selenium import webdriver

读取本地文件中的URL链接

address = ‘./url.txt’
fp = open(address, ‘r’)
lines = fp.readlines()
print(‘【URL链接】:%s’, lines)

调用环境变量指定的PhantomJS浏览器创建浏览器对象

driver = webdriver.PhantomJS()

driver = webdriver.Chrome()

如果没有在环境变量指定PhantomJS位置

driver = webdriver.PhantomJS(executable_path=”./phantomjs”))

for data in lines:

get方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep(2)

driver.get(data)

向下滚动10000像素

js = “document.body.scrollTop=10000”

js=”var q=document.documentElement.scrollTop=10000”

执行JS语句

driver.execute_script(js)

查看页面快照

driver.save_screenshot(“csdn.png”)

print(‘执行中。。。’)

关闭浏览器

driver.quit()
print(‘执行结束。。。’)

关闭文件流

fp.close()