LLM应用实战-财经新闻自动聚合

原创

已于 2024-12-16 13:30:47 修改 · 1.3k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2024-12-16 13:30:34 首次发布

本人的微信公众号是"爱学习的妮妮qiang",欢迎订阅~

1. 背景

这段时间项目比较忙，所以本qiang~有些耽误了学习，不过也算是百忙之中，抽取时间来支撑一个读者的需求，即爬取一些财经网站的新闻并自动聚合。

该读者看了之前的《AI资讯的自动聚合及报告生成》文章后，想要将这一套流程嵌套在财经领域，因此满打满算耗费了2-3天时间，来完成了该需求。

注意：爬虫不是本人的强项，只是一丢丢兴趣而已; 其次，本篇文章主要是用于个人学习，客官们请勿直接商业使用。

1. 爬虫框架选取: 采用之前现学现用的crawl4ai作为基础框架，使用其高阶技能来逼近模拟人访问浏览器，因为网站都存在反爬机制，如鉴权、cookie等；

2. 外网新闻: 需要科学上网；

3. 新闻内容解析: 此处耗费的工作量最多，并不是html的页面解析有多难，主要是动态页面加载如何集成crawl4ai来实现，且每个新闻网站五花八门。

数据源	url	备注
财lian社	财联社深度：重大政策事件及时分析解读_供给侧改革财联社深度：重大政策事件及时分析解读_供给侧改革财联社深度：重大政策事件及时分析解读_供给侧改革	1000: 头条, 1003: A股, 1007: 环球
凤huang网	财经资讯_财经_凤凰网
新lang	财经滚动新闻_新浪网财经滚动新闻_新浪网	2519: 财经 2672: 美股