没时间了解技术热点？让LLM大模型帮你整理重点吧！

1. 前言

提问：技术人的精神食粮是什么❓

AI给出的第一条是“知识与学习”。学习的方式有很多种，对笔者而言了解新技术和新热点是保持职业热爱很重要的方式。完成日常工作是保证物质基础，人终究还是想追求一些精神价值😂。

但日常工作已经占用了大量的时间，此外还有生活琐事需要对线，根本就没有时间搜集并学习新知识。这时如果有一个工具能自动抓取技术热点并将长篇大论的文字浓缩为100~200字左右的摘要，这样每天花半个小时就能消化信息了，这也太棒了吧（看过摘要也算读过文章了😁）。

2. 实现思路

实现过程分三步走：信息收集->信息解读->结果展示。其中：

① 信息收集：对感兴趣的内容进行收集。实现方式可以使用聚合API、RSS或者自定义爬虫；

② 信息解读：通过大模型对内容进行解读。目前通过端直接访问的大模型大多都带有搜索能力，将网页发送给它就可以生成摘要。但多数大模型开放API不带搜索能力，需要自己抓取网页内容再传递给它处理；

③ 结果展示：将文章原始信息和解读后的摘要按照一定格式进行展示。

3. 落地方案

业余时间搞了一个DEMO：developer-hotspots-summary，基本实现了按照配置的榜单信息进行抓取和解读功能，但暂未实现“文章重复数据过滤”、“自定义爬虫”和“文章内容预处理”功能，后续会逐步完善。生成的结果样例如下，完整数据查看☞生成样例。

下面简要说明实现方案：

3.1 信息收集

信息收集主要是对感兴趣的内容进行收集，可使用聚合API、RSS或者自定义爬虫。目前DEMO实现了基于聚合API和RSS的内容收集，下面介绍不同方式的基本实现思路：

① 聚合API

聚合API已经对信息进行了封装并提供了易用的接口，上手难度最低，但天下没有免费的午餐一般都会按照调用量收取一定费用。DEMO中使用今日热榜的开放APITophubdata，目前提供了7500+数据源。

接口的调用也封装的很简洁，通过修改数据源类型可实时获取最新数据，具体代码实现可以查看DEMO源码。

curl --location 'https://api.tophubdata.com/nodes/mproPpoq6O' --header 'Authorization: YOUR_ACCESS_KEY'

{
    "error":false,
    "status":200
    "data": {
        "hashid": "mproPpoq6O",
        "name": "知乎",
        "display": "热榜",
        "domain": "zhihu.com",
        "logo": "********",
        "items": [
            {
                "extra": "455 万热度",
                "url": "https://www.zhihu.com/question/629047878",
                "thumbnail": "https://pica.zhimg.com/80/v2-00a693d9ac81c601223512d5725cbacd_1440w.png",
                "description": "美联储加息周期终于似要走到尽头了。 ",
                "title": "美元大跳水，10 年期美债收益率大跌，离岸人民币大涨 400 点，美股五连阳，美联储加息周期到头了吗？"
            },
            {
                "extra": "206 万热度",
                "url": "https://www.zhihu.com/question/621684259",
                "thumbnail": "https://pic3.zhimg.com/50/v2-0e599dcb44ad61215462fdfbb58d983e_qhd.jpg",
                "description": "感觉老一辈的亲戚总是不知道一些边界感，每次都无下限的打探我的个人问题和生活，弄得我非常的不适。要怎么样才能有礼貌的进行回应呢？",
                "title": "过节聚餐时总感到亲戚在惯性「侵犯」我的边界，是我太敏感还是「亲戚PTSD」在作祟？"
            }
            ...
        ]
    }
  }

其他还有历史数据获取、WebHook功能可以自己研究一下API文档。不过由于调用会收费，不是长久之计。

② RSS源

如果网站支持RSS，那么可以通过RSS源获取到页面最新的内容信息。

如果未提供源，那就要感谢 RSSHub项目了，它可以给各种奇奇怪怪的网站生成了 RSS 源，堪称“万物皆可 RSS”。再结合RSSHub Radar或脚本RSS+对当前页面RSS源进行检测，妈妈再也不用担心我找不到订阅源啦。更多扩展知识可阅读“可能是 2023 年最全的 RSS 源，微信公众号也有！”这篇文章，一些热门的RSS源可以在top-rss-list获取。

介绍完RSS源的获取方式后，下面用代码实现从rss源中获取文章名称和地址。

import feedparser

def parse_rss_feed(rss_url):
    # 解析 RSS 源
    feed = feedparser.parse(rss_url)
    # 创建一个列表存储结果
    result = []
    # 遍历每个条目，提取标题和链接，并添加到结果列表中
    for entry in feed.entries:
        item = {
            'title': entry.title,
            'url': entry.link
        }
        result.append(item)
    return result

# 示例 RSS 源 URL
rss_url = 'https://www.shawnxie.top/feed.xml'
# 调用函数并获取结果
parsed_feed = parse_rss_feed(rss_url)
# 打印结果
for item in parsed_feed:
    print(item)

③ 自定义爬虫

如果上述两种方式都不能获取到想要的信息，那就只有通过自定义爬虫了。由于实现的逻辑比较定制化，DEMO中暂时没有提供相关功能。下面举例说明抓取掘金热榜数据过程，使用Selenium加载页面，然后使用BeautifulSoup解析HTML并提取所需的信息。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time
from bs4 import BeautifulSoup

url = 'https://juejin.cn/hot/articles/6809637769959178254'
 # 设置浏览器选项
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式，不显示浏览器窗口
options.add_argument('--disable-gpu')

# 启动浏览器
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
driver.get(url)

# 等待页面加载完成（根据页面复杂度设置适当的等待时间）
time.sleep(5)

# 获取页面HTML
html = driver.page_source

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html, 'html.parser')

# 查找所有文章项
article_items = soup.find_all('a', class_='article-item-link')

# 存储文章数据
articles = []

for item in article_items:
    link = item['href']
    title = item.find('div', class_='article-title').text.strip()
    articles.append({'title': title, 'link': 'https://juejin.cn' + link})

# 输出文章数据
for article in articles:
    print(f"Title: {article['title']}, Link: {article['link']}")

# 关闭浏览器
driver.quit()

3.2 信息解读

通过大模型对文章内容进行解读。大模型是否具备搜索能力将影响功能实现的难易程度，OpenAI、Gemini等自带搜索能力的大模型直接将网址发送进行总结即可，而国内的大模型API大多是离线的，则需要提前对网页内容抓取和预处理。由于一些不可抗因素，DEMO使用了不带搜索能力的大模型KIMI（文档总结能力强），信息解读功能实现分为了两部分：

① 网页内容获取

由于使用的大模型API本身不带搜索能力，因此需要获取网页html静态文本信息并转换为字符串。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup

def fetch_article_content(url):
    print(f"【LOG】fetch_article_content: {url}")
    try:
        # 设置浏览器选项
        options = webdriver.ChromeOptions()
        options.add_argument('--headless')  # 无头模式，不显示浏览器窗口
        options.add_argument('--disable-gpu')

        # 启动浏览器
        driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
        driver.get(url)

        # 等待页面加载完成
        WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.TAG_NAME, "body"))
        )

        # 获取页面内容
        page_content = driver.page_source
        driver.quit()

        # 解析页面内容
        soup = BeautifulSoup(page_content, 'html.parser')
        text = soup.get_text()
        cleaned_lines = [line.strip() for line in text.splitlines() if line.strip()]
        return '\n'.join(cleaned_lines)
    except Exception as e:
        print(f"【LOG】获取文章内容异常: {e}")
    return None

直接获取的内容存在较多噪音，如：评论、作者信息、目录以及推荐文章列表等，这些都会对AI生成造成影响，使得生成的结果不符合预期。因此在内容获取后最好再添加一步“预处理”或“数据清洗”动作，仅留下关联性更高的内容。目前DEMO暂未实现清洗功能，后续会调研一下通用实现方案。

② 大模型生成文章摘要

将第一步获取的内容传递给大模型API生成文章摘要。

from openai import OpenAI
import fetch, time

# 调用kimi api生成摘要
def summarize_content_kimi(url, key):
    try:
        # kimi api暂不支持搜索 需要调用内容抓取
        content = fetch.fetch_article_content(url)
        if content == None : return
        # 调用kimi api生成摘要
        client = OpenAI(
            api_key = key,
            base_url = 'https://api.moonshot.cn/v1',
        )
        completion = client.chat.completions.create(
            # 如果传入的文本太大可以调整模型
            model = "moonshot-v1-32k",
            messages = [
                {"role": "system", "content": "你是Kimi，你擅长对软件开发技术博客进行内容总结。你会为用户提供安全，有帮助，准确的回答。"},
                {"role": "user", "content": "请协助我对博客内容进行总结，150字以内，博客内容为：" + content}
            ],
            temperature = 0.3
        )
        result = completion.choices[0].message.content
        time.sleep(20)  # 注意控制调用频率，免费版为每分钟3次
        return result
    except Exception as e:
        print(f"【LOG】使用ai总结文章异常: {e}")
    return None

3.3 结果展示

将文章原始信息和解读后的摘要按照一定格式进行展示。这部分诉求因人而异，对笔者来说方便信息阅读即可，因此使用markdown_strings生成了简单的md表格。

import markdown_strings as md
...
contents = []
file_title = date + '热门文章'
contents.append(md.header(file_title, 1))
contents.append(md.blockquote('Power By: [developer-hotspots-summary](https://github.com/Xiaoxie1994/developer-hotspots-summary).'))
for key, value in result.items():
    contents.append(md.header(key, 2))
    table_title = ['文章']
    table_summary= ['摘要']
    for item in value:
        table_title.append(f"[{item['title'].replace("|", "")}]({item['url'].replace(" ", "")})")
        table_summary.append(item['summary'])
    contents.append(md.table([table_title, table_summary]))
with open('./result/' + file_title + '.md', 'w', encoding="utf8") as file:
    file.write("\n".join(contents))
PYTHON 复制 全屏

4. 总结

笔者对此类功能零开发经验，整个过程搜索了大量的资料并使用大模型辅助，整体感觉很不错，很多诉求大模型都可以给出比较接近的解决方案，细节问题也可以通过多轮对话进行解决。DEMO还有很多可以优化的地方，后续会优化一下抓取逻辑提供更多免费的抓取方式并加上重复文章过滤能力，对于文章解读这块也会接入一些自带搜索能力的大模型，尽量让文章的解读更准确和精炼。

最后，很期待后续大模型会进化成什么样，但又有点小怕😂。不过回顾历史，解放生产力后往往会创造新的生产力，作为历史洪流中的一粒尘埃，还是顺势而为吧。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​