爬虫-爬取腾讯热点

最新推荐文章于 2024-12-03 12:11:24 发布

原创最新推荐文章于 2024-12-03 12:11:24 发布 · 379 阅读

1 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

27 篇文章

订阅专栏

本文介绍如何使用Selenium和BeautifulSoup进行网页爬取，重点演示了动态加载网站内容的抓取方法，包括设置ChromeDriver、解析HTML、提取热点新闻标题与链接，并将结果存储为CSV文件的过程。

要求

1.了解ajax加载
2.通过chrome的开发者工具，监控网络请求，并分析
3.用selenium完成爬虫
4.实现：用selenium爬取https://news.qq.com/ 的热点精选，热点精选至少爬50个出来，存储成 csv 每一行如下标号（从1开始）,标题,链接,…（前三个为必做，后面内容可以自己加）

import time
from  selenium import webdriver

driver = webdriver.Chrome(executable_path='D:\Anaconda\Scripts\chromedriver.exe')
driver.get("https://news.qq.com")
#使用ajax加载
for i in range(1,100):
    time.sleep(2)
    driver.execute_script("window.scrollTo(window.scrollX, %d);"%(i*200))

from bs4 import BeautifulSoup
html=driver.page_source
#解析html
bsObj=BeautifulSoup(html,"lxml")

jxtits=bsObj.find_all("div",{"class":"jx-tit"})[0].find_next_sibling().find_all("li")

import pandas as pd
res = pd.DataFrame()

print("index",",","title",",","url")
csvRow_index = []
csvRow_title = []
csvRow_url = []
for i,jxtit in enumerate(jxtits):
    try:
        text=jxtit.find_all("img")[0]["alt"]
        csvRow_title.append(text)
    except:
        text=jxtit.find_all("div",{"class":"lazyload-placeholder"})[0].text
        csvRow_title.append(text)
    try:
        url=jxtit.find_all("a")[0]["href"]
        csvRow_url.append(url)
    except:
        print(jxtit)
        csvRow_url.append(url)
    csvRow_index.append(i)
    print(i+1,",",text,",",url) 

import pandas as pd
csv_file = pd.DataFrame()
csv_file['index'] = csvRow_index
csv_file['title'] = csvRow_title
csv_file['url'] = csvRow_url
csv_file.to_csv('csv_file.csv',index=None)