python 爬虫（1）

最新推荐文章于 2024-10-14 11:30:26 发布

zeroling_0

最新推荐文章于 2024-10-14 11:30:26 发布

阅读量174

点赞数

分类专栏： python

本文链接：https://blog.youkuaiyun.com/zeroling_0/article/details/90758584

版权

python 专栏收录该内容

2 篇文章

订阅专栏

教程：https://blog.youkuaiyun.com/c406495762/article/details/78123502 by Jack Cui

在做简单实例一时遇到的问题：

文本爬不下来，评论里说是网站用JS加载了。

改代码如下：

from bs4 import BeautifulSoup
from selenium import webdriver
if __name__ == '__main__':
    target = 'http://www.biqukan.com/1_1094/5403177.html'
    driver = webdriver.Chrome()
    req = driver.get(target)
    html = driver.page_source
    bf = BeautifulSoup(html, 'html.parser')
    texts = bf.find_all('div', class_='showtxt')
    print(texts[0].text.replace('\xa0'*8, '\n\n'))

需要下载安装selenium+webdriver

selenium+webdriver下载安装：https://www.cnblogs.com/technologylife/p/5829944.html

webdriver配置：https://blog.youkuaiyun.com/qq_40604853/article/details/81388078