您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

BeautifulSoup不等到页面完全加载

BeautifulSoup不等到页面完全加载

如果要等待页面完全加载其数据,则应考虑使用硒,在您的情况下,它可能看起来像这样:

from bs4 import BeautifulSoup
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options

url = "<URL>"

chrome_options = Options()  
chrome_options.add_argument("--headless") # Opens the browser up in background

with Chrome(options=chrome_options) as browser:
     browser.get(url)
     html = browser.page_source

page_soup = BeautifulSoup(html, 'html.parser')
containers = page_soup.findAll("div",{"class":"grid-item"})
其他 2022/1/1 18:35:40 有391人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶