按阅读次数排列 csdn 搜索结果

最新推荐文章于 2023-02-19 20:42:52 发布

原创最新推荐文章于 2023-02-19 20:42:52 发布 · 673 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #排序

python 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了一个用于抓取优快云博客的简单爬虫脚本，该脚本能够根据输入的关键字搜索并按阅读数排序展示结果。脚本当前版本仅支持获取首页搜索结果，计划后续更新包括遍历更多页面、增强错误处理等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

经常在优快云博客里查找文章，但是系统里一直没有找到结果按文章阅读数排序的方法。因此自己写个简单的小爬虫脚本，输入要查找的关键字和想要获取的条目，打印出排名前几的博客网址。

当前是第一版本，支持输入两个参数：搜索关键字和期待结果数目，屏幕上打印出阅读数排名前几的博客网址。

后续版本计划更新：

1. 第一页之后的结果遍历，当前只处理第一页的搜索结果

2. 不带阅读数的结果项解析，有些结果表项没有阅读数信息，需要打开博客去解析阅读数

3. 健壮性保护：

I. 增加输入参数合法性校验

II. 网页加载超时异常处理

III. 元素找不到异常处理

IV. xxx

4. help命令添加

5. 反爬虫机制

import sys
import time
import re
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys


class Csdn():
    def __init__(self, searchStr, displayCount):
        self.searchStr = searchStr
        self.displayCount = displayCount
        self.retList = []
        options = Options()
        options.add_argument('--headless')
        options.add_argument('--disable-gpu')
        options.add_argument('log-level=3')
        self.driver = webdriver.Chrome(executable_path=r'C:\softPackage\chromedriver_win32\chromedriver.exe', options=options)
        
    def sortResult(self):
        def sortKey(item):
            counts = re.findall(r"\d+", item[0])
            return int(counts[0])
        self.retList.sort(key=sortKey, reverse=True)
        
    def desplayResult(self):
        if self.displayCount > len(self.retList):
            self.displayCount = len(self.retList)
        for retItem in self.retList[:self.displayCount]:
            print("%10s"%retItem[0], retItem[1])
        
    def run(self):
        driver = self.driver
        driver.get('https://blog.youkuaiyun.com/')
        driver.find_element_by_id('toolber-keyword').send_keys(self.searchStr)
        driver.find_element_by_id('toolber-keyword').send_keys(Keys.RETURN)
        time.sleep(1)
        handles = driver.window_handles
        driver.switch_to.window(handles[-1])
        items = driver.find_elements_by_xpath("//dd[@class='author-time']")
        # 作者： hpu11 日期：2018-06-07 https://blog.youkuaiyun.com/hpu11/article/details/80609571 225次阅读
        for item in items: 
            strs = item.text.split()
            self.retList.append((strs[4], strs[3]))
        self.sortResult()
        self.desplayResult()
        driver.quit()


if __name__ == '__main__':
    searchStr = sys.argv[1]
    displayCount = int(sys.argv[2])
    csdn = Csdn(searchStr, displayCount)
    csdn.run()

结果显示如下：