StoneDT开源舆情系统大数据技术栈介绍

已于 2022-03-20 23:15:12 修改
阅读量5.8k 收藏 11
点赞数 4
分类专栏： 开源情报 分布式 网络爬虫 文章标签： 网络爬虫 开发语言 爬虫 big data
于 2022-03-20 23:09:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/amyno1/article/details/123624259
版权

我们目前开源的 舆情系统 分为3个部分，整个系统使用了多种开源技术组件和开源框架，涵盖涉及技术领域广泛，例如：分布式计算、大数据、人工智能、数据中台、数据挖掘、深度学习、java和python的大量实际开发场景案例。

所谓，取之于开源,用之于开源，我们把整套系统开源出去，回馈给技术社区。同时，我们也会逐步的讲解，在这个开源 舆情系统 中我们是如何使用这些技术的，以及在使用中遇到的各种问题和工程师们的解决方案。

数据采集

  • 开发平台：Java EE & SpringBoot
  • 爬虫框架：Spider-flow & WebMagic & HttpClient
  • APP爬虫：Xposed框架
  • URL仓库：Redis
  • 网页渲染解析：Jvppeteer & Playwright（微软开源）
  • web应用服务器：Nginx & Tomcat
  • 储存任务发送：Kafka & Zookeeper
  • 抓取任务发送：RabbitMQ
  • 配置管理：MySQL
  • 前端展示：Bootstrap & VUE

数据处理

  • 开发框架：SpringBoot
  • 开发语言：Java JEE
  • 数据暂存：MySQL
  • 数据索引：Redis
  • 深度学习：PaddlePaddle
  • 自然语言处理：HaNLP & THUCTC
  • 数据处理和储存任务发送：Kafka & Zookeeper
  • 数据中台：自研 & DataEase 
  • 数据初始化：集成FlyWay，自动初始化MySQL
  • 数据总线：RockAPI （进行了二次开发）

数据分析

  • 数据库：MySQL
  • 数据检索：Elasticsearch
  • 中文分词器：IK分词
  • 相似度计算：Clickhouse
  • 数据同步：DataX
  • 文章储存：Mongodb
  • 数据缓存：Redis
  • 消息队列：kafak & rabbitMQ
  • 开发框架：SpringBoot
  • 开发语言：Java JEE
  • 图表展示：Apache  Echarts & anyCharts

项目地址

   开源项目地址：https://gitee.com/stonedtx/yuqing


在线体验

   环境地址：http://open-yuqing.stonedt.com
   用户名：13900000000
   密码：stonedt

原文地址：StoneDT开源舆情系统大数据技术栈介绍

博客
开源守护，智护童年——幼儿园未成年行为与安全智能监控系统
03-31 250
现在，“开源守护，智护童年——幼儿园未成年行为与安全智能监控系统”，以开源技术赋能安全，用智能方案为孩子筑起坚实防线，让幼儿园管理更高效，家校沟通更透明！“开源守护，智护童年——幼儿园未成年行为与安全智能监控系统”以开源技术为核心，不仅提升了安全保障水平，还优化了运营效率，更通过透明的信息共享赢得了家长的信赖。系统通过视频监控和行为识别技术，自动检测哭闹、推搡、咬人、长时间独处、跌倒等异常行为，第一时间提醒老师介入，确保孩子的身心健康。危险区域（如水池、楼梯）设置智能警戒线，孩子靠近即报警，防患于未然。
博客
智能化客户行为轨迹分析：AI视频监控在大型商场的技术方案
02-24 736
基于顾客的行为动线和偏好数据，商场可为顾客提供定制化的推荐服务，例如在顾客经过某一商品区域时，通过推送消息提供优惠券或相关产品推荐。：通过分析顾客在商场内的行为动线，商场可以调整商品陈列位置，使热销商品、热门区域的曝光度更高，进一步提升销售转化率。：通过客户动线分析，商场可以识别顾客的购物路径和停留区域，制定个性化的促销活动，例如为经常经过某一区域的顾客推送相关商品的优惠券。：通过对顾客行为的精准分析，商场能够更好地了解顾客需求，提供更加贴合的服务和体验，如提供快捷的商品推荐、专属折扣等。
博客
AI视频监控在大型商场的技术方案（part1）
02-06 251
行为检测模型、密度估算算法、实时报警系统
博客
舆情系统的预警设置
01-25 348
点击页面右上角的设置按钮，进入预警设置页面，点击操作按钮进入预警设置，预警设置包括预警名称、设置预警词、预警内容、来源类型、相识文章合并、匹配方式、预警去重、预警来源、接收时间、预警间隔，设置完成后，点击操作按钮，可在当前页面开启预警开关，或者在列表页面点击开启。点击预警信息下预警信息列表，查看更多按钮，可跳转到消息列表展示预警信息，下拉框可切换方案组及响应的方案，展示全量的方案消息列表。每个方案的预警功能默认为关闭状态，如果需要打开预警，需要先进入预警设置页面，在预警设置页面打开预警开关。
博客
3步实现精准监管：AI视频监控助力公租房居住资格审核与倒卖打击
01-13 770
例如，系统不能自动判断某人是否属于公租房的合法居民，也无法实时识别不法分子的身份和行为，这使得公租房的管理依赖人工审核录像，导致效率低下，且容易出现误判。因此，对于政府部门来说，部署和维护传统的公租房监控系统，往往面临较大的技术门槛和资源压力。：政府提供购房者的照片，系统将其导入人脸库，实时识别进出公租房单元楼人员的身份，确保只有合法居民能够进入。对于不匹配的面孔，系统将实时推送预警。：后台系统需要支持将数据导出，并提供符合政府要求的报表，帮助政府实时了解监控情况，提供合规的审核数据。
博客
六大亮点解析：AI视频监控助力部队训练安全管理
12-31 802
系统采用开源架构，Docker镜像部署，用户可以通过简单的一键部署完成AI监控系统的安装，大大降低了技术门槛，并能快速上线，节省了企业的时间和人力资源。为满足政府和部队机密部门的合规需求，我们的系统支持私有化部署，确保数据存储、传输过程中的安全性和隐私保护，避免敏感信息外泄。用户可以根据实际需求，进行自定义场景的训练与标注，快速适配不同的训练环境与监控目标，确保系统具备高度的灵活性与适应性。在应急情况下，系统可以快速响应，确保问题得到及时处理，减少停机或事故处理的时间，保障部队训练与作战任务的连续性。
博客
AI监控赋能健身馆与游泳馆全方位守护，提升安全效率
12-13 1094
未来，随着AI技术的不断进步，视频监控的应用场景和效果将更加广泛和深远。同时，AI还能学习历史事件，进一步优化识别模型，持续提升监控效果。相比传统监控系统，AI技术赋予监控系统实时分析、智能识别和精准预警的能力，让“被动监视”转变为“主动防控”。AI解决方案：系统通过实时分析人体姿态和动作轨迹，发现溺水、长时间静止等异常行为后，迅速触发报警，同时推送精准位置信息到管理人员的设备。AI解决方案：AI系统通过识别人体与器械的交互动作，发现异常姿势或危险行为后，迅速发出预警，并通知现场教练及时干预。
博客
秒级响应+99.9%准确率：法律行业文本比对的革命性突破
12-08 371
系统概述传统合同审查的最大难题在于文本内容复杂、版本多样且法规实时更新，手工处理容易出错并增加法律风险。文本比对工具利用先进的AI算法，提供以下核心功能：高精度文本比对算法：支持精细文本解析，识别文本间的细微差异。多种文档格式支持：兼容PDF、Word等常见文档格式，满足不同场景需求。比对效率显著提升：提供秒级响应，快速完成合同与法规的逐行比对。智能标注差异点：通过颜色和下划线智能标注差异，便于用户快速定位问题。
博客
政府部门文档管理革新：实现90%自动内容抽取与智能标签化处理！
12-02 975
广州某政府部门作为信息密集型机构，面临文档管理效率低下的问题。随着文档数量的激增，传统管理方式已无法满足高效利用文档的需求。为提升工作效率和数据利用率，该部门迫切需要一款智能化文档管理系统。针对这一需求，可以开发具备多模态数据处理能力的文档管理系统。该系统利用NLP、OCR、图像识别等技术，实现文本、图片、扫描件的自动内容抽取和关键信息提取。系统还具备智能分类与关联、标签化处理等功能，通过自然语言处理和图像识别技术，对提取到的关键信息进行打标签，便于后续数据分析。
博客
5秒生成精准法律摘要：助力律师高效应对案件材料，免费开源体验！
11-22 411
本开源软件基于先进的自动摘要算法（如TF-IDF、TextRank、Transformer模型），可在30秒内从单文档中生成高准确率（≥80%关键信息覆盖率）的案件摘要，并支持多文档融合和用户自定义摘要长度，助力律师更高效地分析案件材料。通过该工具，律师仅需上传文档或者录音，即可在10秒内获得案件背景的精准摘要，包括每位受害者的情况概述、主要证人证词，以及关键时间线信息。通过多文档摘要功能，系统将两份合同的核心条款、异同点自动整合并生成摘要，大幅提升了案件处理效率，同时确保律师在紧迫的时间节点内完成工作。
博客
AI多模态的5大核心关键技术，让高端制造实现智能化管理
11-18 957
例如，通过OCR识别技术，设备的零部件名称、规格参数、维修周期等信息可以从扫描版文档中自动提取，并嵌入到图数据库中，形成知识图谱的基础数据。这项技术通过对工业说明书的版面结构进行深入分析，可以准确区分出文档中的标题、子标题、段落、图形、表格、注释等不同要素，并为信息的系统化抽取与图谱构建奠定了基础。OCR技术在此过程中，不仅帮助将纸质或图像文档中的信息转化为结构化文本，还为后续的信息抽取、表格抽取等提供准确的基础数据，从而提升了整个工业知识图谱构建的效率和准确性。在“工业知识图谱”的构建过程中，
博客
提升法律文书处理效率的秘密武器：开源文档比对工具解析
11-12 599
通过逐字、逐句精确比对、语义分析、批量处理等核心功能，该工具可高效识别文本差异，提升文书审查效率并降低错误风险。它支持多种文件格式，操作简便，显著减少了合同修订、法律意见书审查和诉讼文件核查的工作时间，为律师事务所和法律顾问公司提供了高效、精准的解决方案。系统功能要点：在日常业务中，公司利用该工具进行法律意见书的多版本比对，结合语义分析能力，有效避免语意歧义引发的误解。客户反馈指出，工具极大提高了文书处理效率，降低了法律风险，为他们赢得了更多客户。效率提升：文书处理时间减少50%，团队工作负荷大幅降低。
博客
医疗行业的语音识别技术解析：AI多模态能力平台的应用与架构
11-08 772
平台通过语音识别技术，实现医生与患者对话的实时转录，生成结构化的电子病历数据。数据显示，使用平台的门诊记录系统能够将记录时间缩短60%以上，显著提升了医生的工作效率和患者满意度。急诊场景对信息记录的实时性和准确性要求极高。平台的环境降噪和语音识别技术能够在嘈杂的急诊环境中，准确识别医护人员的语音指令和描述，并实时生成记录。在多学科会诊或大型医学会议中，平台能够实时转录并标记不同发言者的语音内容，生成完整的会诊记录或会议纪要。在嘈杂的医疗环境中，例如急诊室和多学科会诊场景，语音识别的准确性可能受到干扰。
博客
3分钟掌握合同比对，开源工具让法律审查更高效
11-06 356
AI多模态能力平台专为法律文件审核设计，结合了先进的Diff算法与Levenshtein距离算法，支持字符、单词、段落的精确对比，兼容PDF、Word、HTML等多种格式，能够处理100页以上的长文档，轻松完成快速比对。在对账单与合同内容比对的场景中，系统帮助金融客户缩短了审计流程，使每份文件的审核时间缩减至不到5分钟，降低了人工出错率。在一项大型并购项目中，客户利用平台内置的Diff算法进行300页合同的版本对比，从而将审核时间缩短了50%，准确度达到99%以上，显著提升合同修订效率。
博客
节省50%人工录入时间！免费开源AI工具让法律文件数据提取更高效
11-04 239
通过深度学习与计算机视觉技术，我们的系统能够实现表格边界检测和单元格解析，与OCR技术配合，同步提取文字内容与表格结构。表格识别技术，结合深度学习和计算机视觉，能够自动提取和结构化这些表格数据，大幅提升法律机构的工作效率与数据准确性。3. 某知名企业财务部门，处理月度财务报告和年终审计报告，表格识别系统在提取报告中各项费用表格数据时，识别率稳定在99%以上，使财务团队实现了近50%的工作效率提升，并降低了20%的数据处理成本。客户反馈称，系统不仅提高了40%的工作效率，还保障了数据的准确性和实时性。
博客
法律文件智能识别：免费OCR平台优化数字化管理
11-01 751
在法律行业，纸质文件的数字化需求日益迫切，合同、判决书、协议等文件的管理成为法律部门的一大难题。平台支持JPG、PNG、PDF等多种格式的文件输入，生成TXT、DOCX、PDF等可编辑文本，具有高于90%的识别精度，并支持多国语言的识别，特别适用于法律事务所、企业法务部和司法机关。这一流程有效提升了文档管理的便捷性和检索效率。思通数科OCR平台支持与常见的企业系统集成，如ERP、CRM系统等，兼容多种格式和语言，包括Docker和Kubernetes等环境，方便企业进行二次开发和模块扩展。
博客
法律智能助手：开源NLP系统助力法律文件高效审查与检索
10-30 836
使用思通数科AI平台后，律所能够实现案件文档的自动分类，系统响应时间在300用户并发访问下保持在500ms以内，复杂案件分类的识别率达到了96%。某法院的档案部门需要管理大量积累的案件资料，并希望通过自动化实现文档的智能分类。思通数科AI平台的持续学习功能为法院的档案分类带来了极高的准确率，系统的AUC值保持在98%以上，召回率达到97%，在高并发情况下，系统响应时间保持在400ms以内。系统的分类准确率达到了97%，识别率保持在99%以上，使企业的合同处理速度提升了40%，节省了审核成本。
博客
实时语音转写技术：AI多模态平台赋能法庭审理，为庭审记录带来新体验
10-29 572
引入思通数科AI平台后，法庭实现了实时语音转写并结合讲话人识别，实现了发言内容的清晰记录。系统识别准确率在中文环境中达到98%，帮助法院在案件审理过程中节约了大量记录时间，并有效减少了人工记录中的错漏情况。平台还结合了Bert算法进行特征深度提取和上下文语义建模，在提升识别准确率的同时大幅降低后期整理和校正成本，助力打造智能化、现代化的司法环境。平台通过Bert算法和语言模型进行上下文分析，在词汇和语义层面确保转写的准确度，系统在英文环境下识别准确率达到了97%。3. 某市公共法律服务中心。
博客
开源化验单智能识别：AI平台引领医疗数据处理新变革
10-26 1231
在医疗数据录入过程中，尤其是复杂的化验单项目中，手动录入容易出现误差。智能化验单识别系统的OCR技术能够在高准确率下提取数据，通过训练模型对数据格式、字段、数值等多重校验，确保提取数据的识别率和准确性始终保持在较高水平，通常达到96%以上。系统对化验单数据的标准化处理，使得数据查询和分析更具一致性和高效性，方便了医疗研究人员获取所需的数据信息，为临床研究、流行病学研究等提供了高质量的数据支持。系统的多模态能力和自适应算法确保了数据审核的准确性，减少了医保审核部门的工作量，提高了医疗报销流程的流畅度。
博客
AI智能监测系统：全面赋能燃气安全管理的智能化转型方案
10-24 807
这种实时、高效的监控方式，大大提升了燃气安全管理的效率，优化了传统人工巡检的模式。由于燃气泄漏、操作不规范等事故会造成巨大的人员伤亡和财产损失，传统的安全管理方法往往效率低下，依赖人工巡检，无法实时监控潜在风险。通过引入思通数科的AI智能监控系统，实现对各个场景的实时监控，减少人工操作，提高应急响应速度，并通过数据分析和智能识别技术来预防潜在风险。AI视频监控系统通过自动化监控、风险预警和多场景覆盖，帮助燃气企业提升了整体安全管理水平，减少了事故发生的可能性。1. 智能化监控：提升安全管理效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值