开源舆情系统思通:从数据采集到智能分析的全栈技术解析

手把手教你用思通舆情系统搭建本地舆情监控平台(附源码下载) 本文详细解析了如何利用开源技术栈,从零开始搭建企业级本地舆情监控平台。通过实战教程,指导读者完成环境准备、一站式部署、核心模块配置及数据可视化,实现舆情数据的自主可控与深度分析,满足企业定制化需求。 阅读详情

1. 从零开始:认识思通舆情这个开源利器

如果你正在为如何监控网络上关于自己公司、品牌或者某个热点话题的讨论而头疼,觉得市面上的商业舆情系统要么太贵,要么不够灵活,那今天聊的这个“思通舆情”可能就是你一直在找的解决方案。我最初接触它,也是因为一个朋友的项目需要做竞品分析,但预算有限,我们抱着试试看的心态,结果发现这个开源工具比想象中要强大得多。

简单来说,思通舆情就是一个用Java技术栈搭建的、能帮你从互联网各个角落自动抓取信息,然后进行智能分析和预警的系统。它最吸引人的地方,就是开源免费和支持本地化部署。这意味着什么?意味着你不需要每年支付高昂的SaaS服务费,也不用担心自己的数据放在别人的服务器上。你可以把它装在你自己的电脑或者公司的服务器上,数据完全由自己掌控,这对于很多对数据安全有要求的企业来说,是个巨大的优势。

它的功能覆盖了舆情工作的全流程。从最开始的全网监测,不管是新闻网站、微信公众号、微博大V,还是抖音、知乎这些平台,它都能去爬取;到发现信息后的智能预警,比如当某个负面帖子的转发量突然飙升,它能马上通过邮件或者钉钉、微信机器人通知你;再到深度的舆情分析,比如分析一个事件的传播路径、计算网络声量的热度指数、看看网友评论的情感倾向是正面还是负面;最后还能一键生成报告,日报、周报、月报的模板都有,甚至能基于AI帮你润色报告内容。我实测下来,对于中小团队或者个人研究者,这套系统提供的功能已经完全够用,甚至有些细节做得比一些收费产品还要贴心。

2. 庖丁解牛:拆解思通舆情的全栈技术架构

一个系统好不好用,底层技术稳不稳定是关键。思通舆情的技术选型非常“务实”,没有盲目追求最新最炫的技术,而是用了一套在Java生态里久经考验、社区活跃的组合拳。这样带来的好处就是稳定、资料多,我们自己在二次开发或者排查问题时,会轻松很多。

2.1 数据采集层:像蜘蛛一样编织信息网络

数据采集是整个系统的“口粮”来源,如果这里不稳定,后面分析得再花哨也是白搭。思通在这一块用了多套工具组合,很有意思,看得出是踩过坑之后总结出来的经验。

它的核心采集框架是 Spider-flow 和 WebMagic。Spider-flow这个工具我特别喜欢,它提供了一个可视化的界面来配置爬虫。你不需要写复杂的代码,通过拖拽节点就能定义抓取的流程:先打开哪个网页,然后点击哪里,接着提取哪部分数据,最后存到哪里。这对于需要频繁调整采集规则的舆情场景来说,效率提升不是一点半点。而WebMagic则是一个经典的Java爬虫框架,负责执行那些更底层、更定制的抓取任务。

对于现在越来越多的动态网页(就是那种需要滚动页面或者点击按钮才会加载内容的网页),比如微博信息流、抖音视频列表,简单的HTTP请求就搞不定了。思通在这里祭出了 Playwright 和 Selenium 这两个“浏览器自动化”神器。它们可以模拟真人操作浏览器,完整地执行JavaScript代码,把最终渲染好的页面内容抓下来。我试过用Playwright去抓取一些用Vue或React框架做的单页面应用,效果非常稳。

采集来的海量链接如何避免重复抓取?这里用到了 布隆过滤器(Bloom Filter) 和 Redis。布隆过滤器是一种特别节省空间的数据结构,能快速判断一个网址是否“可能”已经抓取过。虽然它有极小的误判率(可能把没抓过的判为抓过),但在舆情这种宁可少抓、不能重复的场景下,这个代价是可以接受的。Redis则作为高速缓存,存放正在排队和已经完成的抓取任务状态。

所有这些抓取任务,通过 Kafka 或 RabbitMQ 这样的消息队列进行调度和分发。这就像是一个高效的任务派发中心,确保成千上万个抓取任务不会堵死,可以平稳、有序地进行。比如,你可以设置不同的队列优先级,让抓取新闻网站的任务优先于论坛。

2.2 数据处理层:把原始信息变成结构化数据

抓回来的原始网页是HTML“大杂烩”,我们需要把其中有用的部分(标题、正文、发布时间、作者、评论数等)提取出来,并清洗干净,这个过程就是数据处理。

思通的数据处理核心是基于 SpringBoot 的Java服务。抓取到的原始数据会先存到 MySQL 里,然后由一系列处理程序进行解析。这里会用到一些规则模板和算法来识别和抽取正文。比如,通过分析HTML的标签密度和样式,可以比较准确地排除导航栏、广告等噪音,找到真正的文章主体。

更厉害的是,它集成了 PaddlePaddle(百度的深度学习框架)和 HanLP 这样的自然语言处理工具。这意味着它不仅能做简单的文本提取,还能进行初步的智能处理。例如,利用PaddlePaddle的预训练模型,可以自动给文章打上标签(如“科技”、“财经”、“娱乐”);利用HanLP可以完成中文分词、识别出文章中提到的公司名、人名、地名等关键实体。这一步相当于给原始数据贴上了丰富的标签,为后面的深度分析打下了坚实的基础。

处理好的结构化数据,会再次通过 Kafka 发送到数据分析层。同时,系统还提到了 DataEase 和自研数据中台,这部分我认为是给企业用户准备的,可以将舆情数据与其他内部业务数据(如销售数据、客服工单)进行关联分析,发现更深层次的洞察。

2.3 数据分析与存储层:让数据会“说话”

当干净、带标签的数据源源不断地涌来,数据分析层就要大显身手了。这是产生核心价值的一层,目标是把数据变成直观的图表和可执行的洞察。

首先面临的是海量数据的检索问题。当你需要从几亿条数据里快速找到所有提到“某品牌电池爆炸”的信息,传统数据库就力不从心了。思通选用 Elasticsearch 作为搜索引擎,这是业界公认的标准选择。它支持近乎实时的全文检索,速度极快。再搭配上 IK分词器,可以让中文分词更准确,比如“苹果手机”不会被错误地分成“苹果”和“手机”两个独立的词,而是作为一个整体来索引,这样搜索“苹果公司”时就不会误匹配到水果苹果。

对于需要复杂聚合计算的分析,比如“统计过去24小时每个小时话题的热度变化趋势”,如果直接用Elasticsearch或者MySQL做,可能会比较慢。思通引入了 ClickHouse 这个列式数据库。它特别擅长做大规模的实时聚合查询,我做过测试,在亿级数据表上做多维度分组统计,ClickHouse的速度比传统方法快几十倍甚至上百倍,真正做到了“秒级响应”。

不同的数据根据其特性存在不同的数据库里:文章的结构化元数据(标题、作者、时间等)存在 MySQL;文章的完整正文、长评论等大文本存在 MongoDB;而各种中间计算结果、热点排行榜等则放在 Redis 缓存里,保证前端页面打开的瞬间数据就能加载出来。这种混合存储的策略,是用合适的工具干合适的事,在成本和性能之间取得了很好的平衡。

2.4 展示与应用层:直观易用的操作界面

所有后台的复杂计算,最终都要通过一个清晰的界面呈现给用户。思通的前端采用了 Vue.js 框架,配合 Bootstrap 做UI组件,整体风格比较简洁现代。

图表展示方面,它选择了 Apache ECharts。这是一个由百度开源的数据可视化库,功能非常强大,从简单的折线图、柱状图,到复杂的关系图、地理热力图都能轻松绘制。而且ECharts的文档和社区都非常活跃,我们如果想自定义一些特殊的图表样式,也能很快找到解决方案。

我印象最深的是它的“智写报告”功能。它内置了很多报告模板,比如舆情日报模板、竞品分析周报模板。你只需要在相应位置选择好要分析的时间范围、关键词、图表,后台的AI引擎(我猜是集成了某些文本生成模型)就能自动组织语言,生成一段逻辑通顺、带有数据引用的分析文字。这虽然不是完全替代人工,但能节省大量复制粘贴数据和组织基础语言的时间,让分析师可以更专注于深度的研判。

3. 实战指南:如何从零部署和上手思通

光说技术可能有点虚,咱们来点实在的,说说如果你现在想自己搭一个,该怎么操作。根据我部署的经验,只要你的Linux操作基础,跟着步骤来,一两个小时就能跑起来。

3.1 环境准备与依赖安装

首先你需要一台服务器,配置不用太高,初期测试的话,2核4G的云服务器就足够了。操作系统推荐 CentOS 7.x 或者 Ubuntu 20.04,这些都是比较稳定的版本。

系统基础环境需要安装:

  • JDK 8或11:思通是基于Java的,必须安装Java运行环境。
  • Maven:用于编译打包Java项目。
  • Docker 和 Docker-Compose:这是最推荐的方式。思通把很多中间件(MySQL、Redis、Elasticsearch、Kafka等)都做成了Docker镜像,用Docker-Compose可以一键启动所有依赖服务,能避开很多手动安装配置的坑。

你可以用下面这个命令快速安装Docker和Compose(以Ubuntu为例):

# 安装Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
# 安装Docker-Compose
sudo curl -L "https://github.com/docker/compose/releases/download/v2.20.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

3.2 源码获取与配置修改

思通的源代码通常托管在Gitee或GitHub上。你需要使用Git命令将其克隆到服务器上:

git clone https://gitee.com/sitongyq/sitong-yuqing.git
cd sitong-yuqing

代码拉下来之后,别急着启动,最关键的一步是修改配置文件。配置文件一般在 application.yml 或 application-prod.yml 里。你需要重点关注以下几个地方的配置,把它们改成你自己环境的:

  • 数据库连接:把MySQL、Redis、Elasticsearch的地址、端口、用户名和密码,改成你刚才用Docker启动的那些容器的实际信息。
  • 消息队列连接:同样修改Kafka和RabbitMQ的连接信息。
  • 采集任务配置:这里可以设置初始要采集的网站种子URL,以及抓取的频率(比如每30分钟抓一次)。建议一开始先配一两个简单的新闻网站试试水,别一上来就开全量抓取,容易把服务器跑崩。

3.3 服务启动与初始化

配置改好后,就可以启动后端服务了。由于项目是SpringBoot的,直接用Maven打包成Jar文件运行即可:

# 进入后端项目目录
cd backend
# 使用Maven打包(如果网络慢,可以加上 -DskipTests 跳过测试)
mvn clean package -DskipTests
# 运行打包好的Jar文件
java -jar target/sitong-yuqing-backend-1.0.0.jar

看到SpringBoot那个大大的Logo启动成功,没有报错,就说明后端服务起来了。

接下来启动前端。前端项目一般是用Node.js开发的,你需要先安装Node.js和npm,然后安装依赖并构建:

# 进入前端项目目录
cd ../frontend
# 安装依赖(国内网络建议使用淘宝镜像:npm config set registry https://registry.npmmirror.com)
npm install
# 构建生产环境代码
npm run build

构建完成后,会生成一个 dist 文件夹,里面就是静态网页文件。你可以用Nginx来托管这个文件夹。一个简单的Nginx配置示例如下:

server {
    listen 80;
    server_name your_domain.com; # 改成你的域名或IP
    location / {
        root /path/to/sitong-yuqing/frontend/dist; # 改成你dist文件夹的实际路径
        index index.html;
        try_files $uri $uri/ /index.html;
    }
    # 可以加一个反向代理,将API请求转发到后端SpringBoot服务(假设后端运行在8080端口)
    location /api/ {
        proxy_pass http://localhost:8080;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

配置好Nginx并重启后,在浏览器访问你的服务器IP或域名,应该就能看到思通舆情的登录界面了。

3.4 初步使用与踩坑提醒

第一次登录,通常默认管理员账号是 admin,密码可能是 admin123 或者查看源码里的说明文档。进去之后,我建议按这个顺序来操作:

  1. 先看数据源管理:这里列出了系统预置的可以采集的网站列表。先激活一两个,测试一下采集流程是否通畅。
  2. 设置监测关键词:在“监测任务”或“专题管理”里,创建你的第一个监测任务。比如关键词设为你的公司名,设置好需要监测的渠道(新闻、微博、贴吧等)。
  3. 查看舆情列表:等上十几分钟到半小时,采集器跑完一轮,在“舆情总览”或“文章列表”里应该就能看到抓取到的相关内容了。
  4. 尝试简单分析:选中几篇文章,试试“事件分析”或“传播分析”功能,看看图表是否能正常生成。

在这个过程中,你可能会遇到几个常见的“坑”:

  • 采集不到数据:首先检查目标网站是否需要登录或是有复杂的反爬机制(如滑块验证)。这时可能需要去修改Spider-flow里的爬虫脚本,增加Cookie或使用Playwright模拟更复杂的操作。
  • 数据分析图表出不来:大概率是Elasticsearch或ClickHouse的数据同步出了问题。检查一下DataX或其他数据同步工具的日志,看是否有错误。有时候是因为数据表结构没有初始化,可以看看FlyWay的迁移日志。
  • 系统运行越来越慢:检查服务器资源(CPU、内存、磁盘IO)。重点看Elasticsearch和ClickHouse,它们比较吃内存。如果数据量真的很大,需要考虑升级服务器配置,或者对Elasticsearch进行索引分片优化。

4. 进阶思考:基于开源系统的定制与优化

当你把基础版跑起来之后,可能会发现有些地方不符合自己的业务需求。这就是开源系统的魅力所在——你可以自己动手改。根据我的经验,有几个方向是值得投入精力去定制的。

4.1 定制采集源与反爬策略

互联网平台的反爬虫技术日新月异。思通预置的采集规则可能会失效。这时你需要自己维护一套采集规则库。除了用Spider-flow配置,对于特别复杂的APP数据抓取(比如只发布在特定APP上的内容),它提到了 Xposed框架,这通常用于安卓应用的逆向和Hook,技术门槛较高,需要专门的移动端开发知识。更通用的做法是研究一些平台的公开API(如果有的话),或者使用更高级的代理IP池和请求指纹伪装技术来绕过反爬。

你可以建立一个规则更新机制,定期检查主要数据源的采集成功率,一旦发现失败率升高,就触发告警,提醒运维人员去更新采集脚本。

4.2 强化智能分析能力

系统内置的PaddlePaddle和HanLP提供了不错的基线能力,但如果你想做得更精准,可以考虑接入更强大或更垂直的AI模型。

  • 情感分析优化:通用的情感分析模型对“这个手机价格真香”和“这个餐厅的菜真香”可能都判断为正面。但对于企业舆情,你需要的是针对产品、服务、股价等特定领域的细粒度情感分析。你可以用自己积累的标注数据(比如手动标记一批关于你公司的正负面评论)去微调一个开源模型,比如用 BERT 或 ERNIE,让它的判断更贴合你的业务。
  • 关键信息抽取:除了实体识别,你还可以定制模型来抽取更具体的信息。比如,在汽车行业的舆情中,自动抽取“车型”、“故障部位”、“价格区间”;在消费电子领域,抽取“产品型号”、“用户吐槽点”、“对比竞品”等。这能极大提升报告自动化的程度。
  • 生成式摘要与报告:现有的“智写报告”可能还是模板填充为主。你可以尝试集成像 ChatGLM、通义千问 这类开源大语言模型的API,让AI不仅能填数据,还能根据数据之间的关联,生成更有洞察力的分析段落,甚至回答一些简单的问答,比如“上周我们新品发布后,负面评价主要集中在哪里?”

4.3 性能调优与高可用部署

当数据量从百万级上升到亿级,系统架构就需要进一步优化。

  • Elasticsearch集群化:单节点的Elasticsearch在数据量和查询并发上去之后会成为瓶颈。必须将其部署为集群,分片和副本的设置需要根据你的数据增长速度和查询模式仔细规划。
  • 缓存策略深化:不仅仅是Redis缓存查询结果,可以考虑用 Caffeine 这类本地缓存做JVM级别的热点数据缓存,减少网络往返。对于复杂的分析查询结果,也可以设置不同时间粒度的预计算和缓存(比如每小时的热榜、每天的传播图)。
  • 微服务化改造:原始的SpringBoot单体应用在业务复杂后,部署和扩展都不够灵活。可以考虑将采集服务、处理服务、分析服务、API服务拆分成独立的微服务。这样,当采集任务暴增时,可以单独扩容采集服务的实例;当分析计算压力大时,单独扩容分析服务。服务间通过Kafka或RocketMQ进行通信。思通技术栈里提到的 RocketAPI 就是一个不错的API网关选择,可以用来统一管理这些微服务的接口。
  • 监控与告警体系:一个要投入生产使用的系统,必须有完善的眼睛。需要搭建监控,不仅监控服务器CPU、内存、磁盘,更要监控业务指标:今日数据采集总量、各数据源采集成功率、数据处理队列积压长度、核心分析接口的95分位响应时间等。一旦这些指标异常,立即通过钉钉、企业微信等通道告警。可以使用 Prometheus 收集指标,Grafana 制作仪表盘,Alertmanager 管理告警规则。

开源思通舆情系统提供了一个非常扎实的起点,它的全栈技术选型体现了工程上的实用性。把它用起来,不仅能解决实际的舆情监控需求,更是一个学习和实践大数据、搜索、实时计算、AI应用的绝佳项目。从部署、使用到根据自己需求去修改和优化,每一步都能学到实实在在的东西。我自己的团队在用它做内部项目监测的这一年多里,不仅省下了可观的采购费用,团队小伙伴的技术视野和解决问题的能力也得到了实实在在的提升。如果你也面临类似的场景,不妨花点时间动手试试,这个坑值得踩。

思通舆情系统深度体验:如何用AI技术一键生成舆情报告? 本文深度体验了思通舆情系统如何利用AI技术实现一键生成专业舆情报告。该系统通过智能化数据采集与分析,结合丰富的报告模板,能快速将海量网络信息转化为结构清晰、图文并茂的分析报告,显著提升市场、公关从业者的工作效率与决策质量。 阅读详情

相关推荐

NGSIM数据集字段解析:从车辆轨迹到交通行为分析

本文深度解析NGSIM数据集的核心字段及其在交通行为分析中的应用。详细解读了车辆时空定位、状态属性及交互关系等关键字段,并通过高速路“幽灵堵车”和城市路口左转行为两个实战案例,展示了如何利用该数据集进行微观交通行为建模与驾驶特征提取,为交通流研究和自动驾驶算法测试提供数据基础。

weixin_29172963的博客 149

突破 2048×2048 限制:开源豆包无水印下载插件深度解析

本文剖析了当前主流开源工具如何绕过豆包AI生成图片的水印限制,通过API逆向解析、网络请求劫持与页面元素重叠等技术,实现2048×2048高清无水印原图一键下载。重点推荐doubao-nomark等活跃项目,强调其支持图片视频批量下载、本地部署安全可控。同时提醒用户:工具依赖平台接口稳定性,存在失效风险,且仅限个人使用,商业用途需授权。建议优先自托管以保障隐私安全。

下载资源或查看教程前,请务必阅读置顶的《免责声明》 443

RK3588上跑通Zipformer语音识别的3个坑与填坑实录(附完整编译命令)

本文详细记录了在RK3588开发板上部署Zipformer语音识别模型时遇到的三个典型问题及其解决方案,包括静态库版本冲突、编译脚本配置错误以及模型转换精度调优。文章提供了完整的编译命令和实战步骤,帮助开发者快速在边缘设备上实现高效的语音识别应用。

l6m7n8的博客 716

python开源好项目

优先看 cszmzh/taobao-data-analyze:它的 SpringBoot + Vue 架构与你最契合,可以帮你快速理解如何将 Python 的分析结果嵌入到你熟悉的全栈体系中。值得一看的点:它的 advisor.py 模块实现了具体的调价规则,比如“竞品价 < 本店售价 × 0.90 时建议降价”,你可以直接参考或修改这些业务逻辑。分析内容:使用百万级的淘宝用户行为数据集,进行 AARRR 模型分析、RFM 分析以及各个环节转化流失分析,正好对应了你提到的“看看用户在哪个环节流失了”。

在技术领域里形成深刻,全面的认识,知道来龙去脉,深入浅出的讲到实用点。 336

手把手教你在全新服务器内网安装OpenEuler 22.03 LTS SP4+ 安装 openGuass 5.0.0(LTS) 数据库

openEuler是面向数字基础设施的操作系统,支持服务器、云计算、边缘计算、嵌入式等应用场景,支持多样性计算,致力于提供安全、稳定、易用的开源服务器Linux操作系统。

cgqyw的专栏 3741

COMSOL 6.4安装全攻略:安装包获取、许可证配置与避坑指南

多物理场仿真是现代工程与科研中不可或缺的技术手段,其核心原理在于将电磁、结构、流体、传热等不同物理过程的耦合效应置于统一环境中求解,从而真实模拟复杂系统行为。这类仿真平台能大幅提升产品研发与设计验证效率,广泛应用于电子散热、声学分析、电力设备等领域。在部署最新版本仿真软件时,安装与许可证配置往往成为影响工作效率的关键环节。本文系统梳理COMSOL 6.4在Windows平台的安装全流程,涵盖安装包获取、系统依赖准备、许可证配置、常见报错排查等实用经验,帮助工程师与科研人员一次性完成环境搭建,把更多时间投入真

weixin_30000735的博客 1392

GitHub 开源趋势日报 | 2026-11-08

每日精选 GitHub Trending 热门项目,聚焦 AI 与大模型、Agent 智能体领域,带你用一篇文章看懂开源风向。

weixin_45631123的博客 468

用MATLAB从零实现六足机器人步态仿真:交替三角与波动步态保姆级教程

本文详细介绍了如何使用MATLAB从零实现六足机器人的两种经典步态仿真:交替三角支撑步态和波动步态。通过参数定义、相位设置、运动轨迹生成和三维可视化等步骤,帮助读者掌握六足机器人步态规划的核心技术。教程包含完整代码和详细解析,适合机器人爱好者和相关专业学生学习实践。

weixin_26765363的博客 231

优雅草2026年10个开源鸿蒙工业软件项目五详解:鸿蒙星闪旋转设备振动监测节点

本项目聚焦旋转设备振动监测“最后一米”难题,基于开源鸿蒙与星闪技术,打造低功耗无线振动节点。采用ADXL355高精度传感器,5分钟周期采集3.2kHz原始波形,通过星闪上传至网关,由网关侧完成FFT分析、特征提取与基线对比,实现故障早期预警。打样目标包括16位采样、≥2周续航、丢包率可测,交付2个磁吸/螺栓节点及网关分析固件。未来将拓展至“振动+电流”双维监测,推动工业预测性维护在水运、排污等场景的低成本普及。

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8 213

Python爬虫实战:高效爬取中国版权登记数据

本文将详细介绍如何使用Python最新技术栈构建一个高效、稳定的中国版权登记数据爬虫系统。我们将使用Playwright+Asyncio实现无头浏览器自动化,结合Redis分布式任务队列和MongoDB数据存储,打造一个能够应对反爬机制的企业级数据采集方案。文章包含完整代码实现、性能优化技巧以及法律合规建议,帮助开发者快速掌握大规模数据采集的核心技术。本文详细介绍了2024年使用Python最新技术栈构建中国版权登记数据爬虫的完整方案。基于Playwright的无头浏览器自动化。

2201_76125261的博客 1899

车载软件架构 -- SOA服务分层设计原则

摘要: 本文系统阐述了车载SOA(面向服务架构)的核心价值与分层设计原则。传统汽车软件架构因功能耦合度高、升级困难等问题难以适应智能汽车发展需求,而SOA通过服务化设计实现模块化解耦,支持跨域协同与生态开放,显著提升开发效率和可维护性。文章详细解析了服务分层策略(原子服务、基础服务、应用服务)及其设计原则:原子服务作为最小功能单元实现硬件抽象;基础服务整合原子服务提供通用能力;应用服务面向具体业务场景。分层架构有效降低了系统复杂度,使各层可独立演进,为智能汽车软件生态建设提供了方法论支撑。

Soly_kun的博客 731

开源AI桌面助手哪个好?5类项目的能力、许可证与部署选型

从开源范围、产品定位、任务执行、模型接入、部署方式与许可证六个维度做一次横向梳理如果你正在寻找一款开源 AI 桌面助手,可能已经在 GitHub 上看到过不少项目。有些项目能够连接多个大模型,有些能够读取本地文件、执行命令,还有些可以调用浏览器、操作电脑,甚至让多个智能体协同完成工作。但这些项目并不完全属于同一类产品。例如,有的只是一个多模型聊天客户端,有的是能够直接执行任务的 AI Agent,还有的属于本地部署的 AI 管理平台。

sykdjs的博客 267

Python爬虫实战:基于Scrapy与Playwright高效爬取人民网新闻数据

本文将详细介绍如何使用Python最新技术栈(Scrapy框架结合Playwright浏览器自动化工具)高效爬取人民网新闻数据。文章包含完整项目搭建、反反爬策略、数据解析存储以及性能优化等核心内容,提供可直接运行的代码示例,适合中高级Python开发者学习现代网络爬虫开发技术。python# 去除特殊空白字符。

2201_76125261的博客 1122

openEuler 汇聚开源力量,深化系统级创新,构筑 Agentic Infra 坚实底座

11月14日,openEuler Summit 2026(以下简称“大会”)在北京中关村国际创新中心圆满落幕。大会由开放原子开源欧拉(OpenAtom openEuler,简称“开源欧拉”或“openEuler”)社区协同产业伙伴共同主办,集中展示openEuler在超节点与Agentic Infra领域的技术创新、社区建设和生态合作,吸引社区开发者、企业代表和学术界专家共同参与。

GZZN2019的博客 173

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

52万 Star 的“列表的目录”:sindresorhus/awesome 如何用一套治理规则,成为全球开源资源的信任锚点

awesome 是 Sindre Sorhus 维护的开源索引项目,无一行可运行代码,却以超 52 万 Star 长居 GitHub 第二。它作为“列表的目录”,通过严格治理(30 天考察期、awesome-lint 校验、CC0 许可、贡献者评审机制)筛选高质量资源清单,成为开发者寻找优质技术资源的可信入口。虽不保证内容实时性,但其“筛选即认证”的模式重塑了信息获取方式,推动形成整个 Awesome 生态规范。

下载资源或查看教程前,请务必阅读置顶的《免责声明》 458

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Windows 本地部署 Nexent 全流程实录:3 个坑的成因与解法,50 分钟跑通 13 个容器

最近,华为把零代码智能体平台 Nexent 开源到了 AtomGit 上,归在魔擎社区(ModelEngine)名下。它的口号是"一个提示词,无限种可能",在工作台用自然语言描述需求,平台直接产出可运行的智能体,不用画流程图,也不用写代码。看到这个定位,我决定在自己的 Windows 机器上完整跑一遍部署。

鸽芷咕的博客 1万+

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

让 Electron、Windows 桌面应用也能直接调用 uniCloud:unicloud-sdk 开源发布

摘要(148字): 为解决 Electron、Vue/React 项目及 Node.js 环境无法直接调用 uniCloud 的问题,开发者开源了 @yungot/unicloud-sdk。该 SDK 支持云对象、云函数、存储与登录态管理,兼容 Windows 桌面应用,通过设备身份签名与宿主桥机制保障安全,实现与 uni-app 一致的调用体验。已通过真实项目验证,支持 TypeScript、零依赖,适用于非 uni-app 场景的 uniCloud 接入。

IT开发 259

开源虚拟机与桌面虚拟化工具离线镜像合集

本集合汇总等开源虚拟机与桌面虚拟化相关离线包。不重分发 Oracle VirtualBox 专有二进制(PUEL),侧重 FOSS 生态与文档说明包。

241

关于优雅草科技十大开源工业软件实验验证与中试报备的流程说明

优雅草科技将于2026年11月发布10款基于鸿蒙+星闪+海思的国产工业开源软件,计划12月至1月完成样机打样与实验室验证。项目涉及高精仪器测试,需依托成都五家实验室分阶段开展结构打样、产线模拟及专项测试(如视觉同步、EMC干扰、配电柜环境等)。完成后,将向“工业软件中试验证平台(成都)”提交材料,进行中试报备与产品上架,推动软件从“能用”迈向“好用”。

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8 197

【字节拥抱开源】Cola2:用连续隐变量重构语言模型,346B Token 跑出 60.10 八任务均分

Cola2 是一款基于连续隐变量的自适应语言模型,通过动态语义压缩与块因果扩散 Transformer(DiT)实现高效生成。它在346.03B token上训练,八项评测平均得分60.10,性能超越部分更大规模模型。其核心创新在于联合优化隐变量压缩与离散解码,支持受控扩展与稳定推理。项目提供完整权重、工具链及评测数据,适用于研究与应用。

weixin_41446370的博客 349

友好型开源模型SSM+Transformer 混合架构:Jamba 把 256K 长上下文塞进显存

**Jamba** 是 AI21 Labs 的 `Jamba` 混合 SSM-Transformer 开源大模型,原生 256K、Apache-2.0;本文讲清架构与部署,同档对标 Llama 5 / Qwen3.6。

雨1986的博客 354

qData 数据中台开源版 v1.6.6 发布:ETL 模块轻量化升级,优化定时任务磁盘占用问题

qData 数据中台开源版 v1.6.6 针对周期性数据集成任务的运维痛点,实现两项关键优化:一是拆分工具组件与 ETL 执行模块,减轻 JAR 包体积,提升部署与维护效率;二是修复定时任务中 ETL JAR 包持续累积问题,有效降低服务器磁盘占用。两项改进聚焦执行模块结构与运行过程管理,助力企业数据平台稳定、高效运行。

qiantongkeji的博客 283

Buoyant 开源 Kinference:面向 Kubernetes 与 vLLM 的推理控制平面

Buoyant 发布 Apache 2.0 许可的 Kinference v0.1.0-alpha.7,为 Kubernetes 上的 vLLM 提供路由策略、缓存感知负载均衡和按租户计量的推理控制平面。

老孙正经胡说 358

基于足行 X2 平台的 Sim-to-Real 开发实践:开源生态与仿真工具链落地解析

在人形机器人运动控制开发中,Sim-to-Real(仿真到真机迁移)是影响研发效率的核心环节。算法在仿真环境中调试完成后,迁移至真机时常出现姿态偏差、稳定性下降的问题,反复真机调试既拉长研发周期,也会提升硬件损耗成本。本文以安徽足行机器人集团有限公司的 X2 科研平台为样本,基于产品技术白皮书公开信息,解析其开源生态与仿真工具链的落地实现逻辑。

jing_hong1的博客 189
上一篇: 动态调参算法对比:AdaGrad/RMSProp/Adam在Kaggle比赛中的表现差异
下一篇: 从零理解llama.cpp的内存优化:batch和ubatch如何让你的旧显卡也能跑大模型
docker8compose
博客等级 码龄1天 0粉丝 1102原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值