- 博客(14)
- 收藏
- 关注
RSS订阅原创 大数据升级之路 | Storm理论详解
随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。
2025-12-17 01:27:46
578
原创 大数据升级之路 | MapReduce原理详解
在处理 TB 、PB 级的数据时，单机计算能力不足决定了数据必须要在分布式集群上面处理，那么久必然要在分布式集群上进行分布式计算，但如若没有一个统一的框架开发者必定要自己处理任务拆分，负载均衡，节点宕机后的处理与恢复等问题，非常麻烦，所以出现了MapReduce，它将复杂的分布式计算封装到了框架之中，让开发人员可以不必关注底层逻辑，将精力集中在业务逻辑的开发上。易于编程，良好扩展性，高容错性（某一节点宕机后框架自动将计算任务转移到另一个节点上）
2025-12-16 23:47:31
752
原创 解决Chorme登录时账号选择页面丢失与登录信息丢失
这时候打开Chrome，新建一个用户，然后这里的profile就会增加，比如新增了一个profile 9，那么你把新增的profile 9删了，然后把原来的文件重新命名为profile 9，然后重启Chrome打开内个用户就可以看到原来的用户信息。打开chorme发现没有平时的账号选择的一个页面，打开之后登录信息页不见了，重新登陆之后发现自己的书签等信息也不见了。然后你可以看到几个profile number的文件。首先，打开这个地方（因人而异）记住现有的文件，这就是你原来的信息。
2025-11-16 23:58:34
190
原创 大数据升级之路 | 流计算案例（电商销售额实时监控系统）
摘要：该项目构建了一个基于流计算的电商实时销售额监控系统，采用Kafka+Storm+Redis+SpringBoot技术栈。系统通过Kafka接收模拟订单数据，由Storm实时计算销售总额和商品维度数据，结果存入Redis并通过SpringBoot接口可视化展示。相比传统批处理方案，实现了秒级延迟的实时数据分析，解决了数据滞后、手工汇总效率低等问题。项目代码已开源（https://github.com/plkdthfss/StormComputingDemo）
2025-10-29 20:01:19
888
原创 后端开发 | 黑马Tlias后端开发技术总结（AOP）
本文介绍了AOP（面向切面编程）的核心概念及其在Spring Boot中的应用。AOP通过将日志、权限等公共逻辑抽取为切面，使业务代码更简洁。重点讲解了execution切入点表达式和@annotation注解的匹配方式，以及5种通知类型的执行顺序。最后展示了AOP在Tlias项目中的两个实际应用：通过@Around实现方法耗时统计，以及结合自定义注解和ThreadLocal实现操作日志记录。文章特别指出，使用时需注意日志配置的开启问题，否则可能导致AOP功能无法正常输出日志。
2025-09-20 23:34:24
811
原创 后端开发 | 黑马Tlias后端开发技术总结（登录校验）
在任何后端系统中，都是最基础、最重要的功能之一。它不仅是系统安全的第一道防线，也是后续权限控制、数据隔离的前提条件。本文以Tlias管理系统为例，从等内容的原理到实践，完整梳理这一过程。
2025-09-20 14:59:55
807
原创 大数据开发升级之路 | HDFS理论详解
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统，HDFS就是分布式文件管理系统中的一种。HDFS适合一次写入，多次读出的场景（Why？-> HDFS不支持并发写入和随机写入-> 强制一次性写入使得系统无需关注数据一致性，并且实现了简单的元数据管理和高吞吐数据写入HDFS优点。
2025-09-18 23:10:16
1089
原创 大数据开发升级之路 | WordCount入门程序详解
driver类负责配置job并提交，比如指定Mapper/Reducer，设置kv类型，输入输出的地址等，同时程序也从这里进入。WordCountMapper.java（Mapper映射） Mapper映射类负责将读取的数据映射为<k, v>的键值对形式，WordCountMapper代码为逐行读取文本，将一行内容拆分成若干<字母, 1> 对。WordCountReducer.java（Reducer类） Reducer类是将经过shuffle后的键值对<k,
2025-09-18 19:39:23
1101
原创 LLM | 详解Google提示词工程（Prompt enginning）白皮书（各种Prompt姿势大赏）
前两天刷微信公众号的时候刷到了Google的这个Prompt白皮书，看了一下，感觉是对目前比较流行的一些Prompt技术的汇总，每个方法同时提供了案例来说明，很适合小白入门看。整个65页的PDF，可以大致上分为前置知识、Prompt技术介绍和实际案例的练习。
2025-05-07 17:58:52
984
原创 ‘AI’第二课堂笔记（智能体）
大模型的工作原理可以概括为一个自适应、循环的过程。首先，用户通过输入文本开始与模型的互动，例如输入一个问题“你是谁？接收到用户输入后，模型会基于预先设定的系统提示词（Prompt）构建一个完整的对话上下文。这个Prompt不仅包含用户的输入，还结合了系统的指导性内容，比如“你是一个乐于助人的助手”等信息，从而生成一个用于生成回应的语境。在此基础上，模型开始计算并生成对应的输出。比如，当用户询问“你是谁？”时，模型可能会回应：“我是Qwen，一个由阿里云开发的大型语言模型。
2024-08-25 05:57:34
969
原创 ‘AI‘第二课堂笔记（大模型）
流式输出通常指的是以连续流的形式处理数据，而不是一次性处理整个数据集。这种处理方式在数据量很大时非常有用，可以有效地减少内存使用。
2024-08-08 23:09:29
531
原创 “AI”第二课堂笔记（阿里天池）
One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。# 定义One-Hot编码函数return df。
2024-07-29 22:04:20
827
原创 ‘AI’第二课堂笔记（pandas）
‘AI’第二课堂笔记（pandas）主要目的是通过真实的数据，以实战的方式了解数据分析的流程和熟悉数据分析python的基本操作。知道了课程的目的之后，我们接下来我们要正式的开始数据分析的实战教学，完成kaggle上泰坦尼克的任务，实战数据分析全流程。
2024-07-21 21:15:02
545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人