墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
4.3k累计阅读
4.4k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
各个业务系统的消息源多种多样，使用 flume 作为消息的采集端，有一定的扩展性，采集的消息发往hdfs直接保存和消息管道进行实时计算。中间传输层采用Kakfa，能够支撑海量数据的数据传递。将消息持久化到磁盘中，并对消息创建了备份保证了数据的安全。Kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。计算框架多采用高吞吐的SparkStreaming，还拥有Spark生态圈丰富的组件，最后将处理好的数据写入Hbase方便即时查询。
计算框架中新兴的 flink 很多方面会表现的更为优秀，之后项目也会采用它来取代sparkStream。
大数据领域数据架构的实时分析能力提升
随着互联网、物联网的快速发展，企业每天产生的实时数据量呈指数级增长（如电商的用户点击流、金融的交易流水、IoT设备的传感器数据）。传统的批处理架构（如Hadoop离线计算）因处理延迟高（小时级甚至天级），已无法满足实时推荐、风险控制、异常监控等业务需求。实时分析的技术演进与核心挑战流批一体、实时数仓等关键架构设计低延迟、高吞吐、一致性的技术实现基于Flink、Kafka等工具的实战案例背景介绍：明确需求与目标核心概念与联系：定义实时分析关键术语，对比传统架构差异。
大数据项目篇--项目架构图
大数据项目架构图
金融行业大数据架构设计：风控与实时分析的完美结合
在金融行业里，每天都会产生海量的数据，比如客户的交易记录、信用信息、市场动态等等。这些数据就像一座巨大的宝藏，如果能好好利用，就能为金融机构带来很多好处。我们这篇文章的目的就是要设计一个大数据架构，把风控和实时分析结合起来，让金融机构能更好地利用这些数据。范围呢，涵盖了从数据的收集、存储、处理到分析的整个流程，以及如何通过这个架构来进行有效的风险控制和实时决策。接下来，我们会先解释一些核心概念，让大家明白什么是大数据架构、风控和实时分析。
《离线和实时大数据开发实战》（二）大数据平台架构 & 技术概览
什么是数据平台呢？或者更时髦点，什么是大数据平台呢？目前业界并没有对数据平台的精确定义，但通常所说的数据平台主要包含以下三部分： 数据相关的工具、产品和技术：比如批量数据采集传输的 Sqoop 、离线数据处理 Hadoop 和 Hive 、实时流处理的 Storm、Spark 以及数据分析的 R 等； 数据资产：不仅包含公司业务本身产生和沉淀的数据，还包括公司运作产生的数（如财务、行政），以及从外界购买、交换或者爬虫等而来的数据等； 数据管理：有了数据工具，也有了数据资产，但是还必须对它们进行管理才
2024半结构化数据处理新趋势：AI+实时分析如何重塑大数据架构？
半结构化数据是介于结构化数据（表格、数据库，schema固定）与非结构化数据自描述性：数据自带元数据（如JSON的key-value对、XML的标签），无需预先定义schema；灵活性：字段可动态增减（如电商日志新增“优惠券类型”字段）；混合性：包含结构化字段（如“用户ID”）与非结构化内容（如“商品评价文本”）。典型示例{"user_id": "123", "item_id": "456", "behavior": "click", "comment": "这个产品包装不错，但物流慢"}；
物联网(IoT)场景下的大数据实时分析架构设计
随着物联网设备的爆发式增长（预计2025年全球连接设备数达270亿），物联网场景下产生的数据呈现出海量（Exabyte级）、高速（毫秒级生成频率）、多样（传感器、视频、日志等多模态数据）、低价值密度（有效信息隐藏在噪声中）的显著特征。传统批量处理架构已无法满足实时监控、异常预警、动态决策等实时性需求，亟需构建高效可靠的实时分析架构，实现从数据采集到价值提取的端到端闭环。本文聚焦物联网大数据实时分析的技术体系，涵盖数据接入、实时处理、存储管理、应用赋能。
一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】
一文看懂大数据生态圈完整知识体系，包含Hadoop、Spark、Flink、Kafka、Elasticsearch、数据仓库等内容。
基于大数据分析的实时风控体系
基于大数据的风险控制理念、架构、模型、策略与核心模块介绍。
大数据平台架构及规划
Flink 实时计算平台架构。
Docker+vLLM内网离线部署Qwen3 流程
本文介绍了在CentOS 7系统下进行VLLM容器化部署Qwen3-32B大模型的内网离线方案。首先需准备Nvidia显卡驱动、CUDA 12.4和Docker环境。通过联网机器拉取vllm/vllm-openai镜像并导入内网服务器，同时从魔塔社区下载模型文件。部署时使用docker run命令启动容器，配置了GPU资源、内存共享、端口映射等参数，特别指定了模型路径、并行计算、内存利用率等关键参数。该方案实现了大模型在内网环境的安全高效部署，适用于需要离线运行的AI推理场景。
【Zotero】《纯操作讲解，GPT配置，Zotero标注可视化》- 知识点目录
Temperature分布在。之间，越低输出越稳定；
大数据模型、离线架构、实时架构
用户分析模型是基础的分析模型。运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率的差异对比，了解转化率最高的用户群体，分析漏斗合理性，并针对转化率异常环节进行调整。黏性分析是在留存分析的基础上，对一些用户指标进行深化，除了一些常用的留存指标外，黏性分析能够从更多维度了解产品或者某功能黏住用户的能力情况，更全面地了解用户如何使用产品，新增什么样的功能可以提升用户留存下来的欲望，不同用户群体之间存在什么样的差异，不同用户对新增的功能有何看法。
运算放大器噪声分析实战：从理论到TINA-TI仿真的完整指南
本文深入探讨运算放大器噪声分析的完整流程，从基础理论到TINA-TI仿真实践。详细解析噪声来源、运放噪声模型建立、手工计算方法，并结合TI工具进行高效仿真验证，提供低噪声电路设计优化策略，帮助工程师提升精密电子系统性能。
大数据实时分析系统架构与数据流处理优化
构建一个高效的实时分析系统并非易事，需要综合考虑多方面因素。本文介绍了该类系统的基本组成及其优化方向，并结合具体实例展示了其应用价值。相信随着技术的进步，未来还将涌现出更多创新性的解决方案，帮助企业在竞争激烈的市场环境中脱颖而出。```
HTML5网页基础设计——课程介绍专栏
案例： 参考代码： <!doctype html> <html> <head> <meta charset="utf-8"> <title>动手实践</title> <style> *{ margin: 0; padding: 0; font-size:14px; } dd{ width: 461px; height: 145px; margin: -4px; pad.
【华为OD机试真题 Python语言】371、增强的strstr | 机试真题+思路参考+代码解析（E卷复用）
>C语言有一个库函数: char *strstr(const char *haystack，const char *needle) ，实现在字符串haystack中查找第一 次出现字符串needle的位置，如果未找到则返回null > 现要求实现一个strstr的增强函数，可以使用带可选段的字符串来模糊查询，与strstr一样返回首次查找到的字符串位置 > 可选段使用"[]"标识，表示该位置是可选段中任意一个字符即可满足匹配条件，比如"a[bc]"表示可以匹配"ab"或"ac" >&
揭秘SZT-bigdata：构建千万级地铁客流实时分析系统的核心技术架构
在智慧城市交通管理中，深圳地铁大数据客流分析系统（SZT-bigdata）通过**实时数据处理**、**多存储引擎协同**和**智能可视化分析**，解决了海量交易数据实时监控、客流预测精准度低、应急响应延迟等核心痛点。这套基于现代化大数据技术栈的解决方案，为城市轨道交通管理者提供了从**数据采集**到**智能决策**的全链路支持，日均处理千万级交易数据，响应时间从分钟级降至秒级，预测准确率超过85
OCS2 入门教程（一）
OCS2 是专为切换系统优化控制（ptimalontrol forwitchedystems，OCS2）定制的 C++ 工具箱。该工具箱提供以下算法的高效实现：SLQ：连续时间域约束 DDPiLQR：离散时域约束 DDPSQP：基于 HPIPM 的多重打靶算法IPM： 基于非线性内点法的多重搜索算法SLP：基于 PIPG 的顺序线性规划算法OCS2 通过增强拉格朗日法（Augmented Lagrangian）或松弛障碍法（relaxed barrier methods）处理一般路径约束。
【大数据架构】OLAP实时分析引擎选型
Doris，Elasticsearch，Impala，Kylin，Druid，Presto，GreenPlum OLAP分析场景中，一般认为QPS达到1000+就算高并发，而不是像电商、抢红包等业务场景中，10W以上才算高并发，毕竟数据分析场景，数据海量，计算复杂，QPS能够达到1000已经
应用商店评论分析实战：Python逆向工程破解Google Play加密接口与NLP建模
在移动互联网时代，应用商店中的用户评论成为了开发者优化应用、提升用户体验的重要依据。然而，Google Play等应用商店对评论数据进行了加密处理，直接爬取难度较大。本文将介绍如何使用Python逆向工程破解Google Play的加密接口，实现对应用商店评论的实时采集，并结合NLP（自然语言处理）技术进行情感分析和主题建模，为开发者提供有价值的数据支持。
多模态论文笔记——BLIP
本文详细介绍这几年AIGC火爆的隐藏功臣，多模态模型：BLIP。
大数据技术架构_?海量数据实时分析服务技术架构演进
1.现状与挑战爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。比如：Druid是一个分布式的支持实时分析的数据存储系统，数据与时间强相关，已由0.10.0版本升级到0.14.2版本；Impala是Cloudera受谷歌Dremel启发开发的实时交互SQL大数据查询工具；Kudu是Clo...
LinePhone3.2.7(android端最新版本) sip客户端
SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/
大数据实时分析：结构化数据流处理架构设计
在「秒级响应」成为企业核心竞争力的今天，实时分析已从「可选能力」变为「基础设施」。为什么需要区分「事件时间」和「处理时间」？如何设计窗口计算才能准确统计业务指标？状态管理为什么是实时系统的「心脏」？常见流处理框架（如Flink、Kafka Streams）的底层逻辑是什么？用超市收银台的故事引出结构化数据流处理的需求；拆解「事件时间」「窗口」「状态」等核心概念的底层逻辑；通过代码示例和数学模型，解释流处理引擎的核心算法；
IEM模型，地表粗糙度模拟
利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟
大中型超市收银系统(可直接运行)
光步前台收银系统系统功能：商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传，基本资料下载，开钱箱、小票打印、收款结算，支持多币种付款方式（现金、储值卡、礼券、微信等）,支持多种促销。运行环境：.net 4.0登陆信息用户名:1001 密码:123456内置商品信息，商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
832
扫一扫
