- 博客(8)
- 收藏
- 关注
RSS订阅原创 从 0 到 1：Hadoop MapReduce 实现 AccessCount 日志流量统计（全流程实战 + 代码修复）
AccessCount 看似是 “统计接口访问量” 的简单程序，但它背后是分布式计算的核心逻辑：将大任务拆分为小任务并行处理，再合并结果。从代码错误修复到生产环境优化，我们不仅掌握了 MapReduce 的 API 使用，更理解了其底层的 Shuffle、分区、聚合逻辑 —— 这是学习 Spark、Flink 等分布式框架的基础。
2025-12-25 17:46:23
609
原创 Hadoop日志统计实战：AccessCount全解析
从 0 到 1：用 Hadoop MapReduce 实现日志流量统计（AccessCount 全解析） 在大数据技术体系中，日志分析是最经典的场景之一 —— 从海量访问日志中提取核心指标（如接口访问量、用户行为），是企业做运维监控、业务决策的基础。而 Hadoop MapReduce 作为分布式计算的 “开山鼻祖”，至今仍是处理 TB 级日志数据的高效工具之一。 本文将以AccessCount（访问流量统计）为例，从业务场景、MapReduce 原理、代码实现、实践踩坑到性能优化，完整拆解如何用 MapR
2025-12-25 17:36:40
525
原创 数据可视化之旅：从基础图表到炫酷数据大屏的技术实践
从基础的 pyecharts 柱状图，到 ECharts 的多样图表，再到复杂的数据可视化大屏，我们完成了一次完整的数据可视化技术之旅。工具选择若你是 Python 开发者，pyecharts是快速实现数据可视化的首选，尤其适合数据分析后的可视化输出。若你从事前端开发或需要更灵活的交互，ECharts是当之无愧的王者，其丰富的图表类型和配置项能满足绝大多数需求。大屏拓展：本文的大屏是静态示例，实际项目中可结合后端接口。
2025-10-25 15:20:27
664
原创 脱发因素深度解析与智能预测模型探索
从数据预处理、可视化分析，到机器学习建模、因素剖析与策略制定，我们搭建起一套脱发研究与干预的完整框架。遗传、生活习惯、医疗营养、环境等因素相互交织，共同塑造脱发风险。未来，可进一步融合基因组学、代谢组学数据，提升预测模型精度；探索中医养生（如穴位按摩、中药调理 ）与现代科技结合的护发方案，为脱发防治提供更多元路径。让我们以数据为帆，以科学为舵，在守护头发健康的航程中，破浪前行，留住 “头顶风景” ，重拾自信与活力。
2025-06-26 16:11:37
1495
原创 心脏病数据分析及分类实践
从临床数据到智能预警一、心血管疾病防控现状与技术突破全球每年因心血管疾病死亡人数达1860万，中国现患病人数3.3亿。print(df[['age','sex','cp','thalach','oldpeak']].describe())核心指标：收缩压≥140mmHg标记为高血压高危衍生特征：LDL/HDL比值（>2.5提示动脉硬化风险）基因标记：SCN5A突变携带者风险增加2.3倍2. 数据预处理流程from sklearn.impute import KNNImputer。
2025-06-19 16:19:02
408
原创 电商订单数据可视化
本文基于Python，对电商订单数据展开从读取、预处理到可视化分析，再到客户聚类挖掘的全流程实践，带您深入挖掘数据价值，探寻电商业务增长的密钥。本数据有104557条记录、11个字段，下单时间和付款时间是 datetime64[ns] 类型，订单金额、付款金额为 float64 类型，订单顺序编号是 int64 类型，其余多为 object 类型，且无缺失值，初步判断数据质量不错，为后续分析筑牢基础。按付款天数名称、付款小时聚合付款金额，重置索引并重命名列，查看聚合后的数据。市场变化快，数据也在更新。
2025-06-12 16:37:39
1060
原创 Python学习与感悟
书籍推荐：对于初学者，《Python编程：从入门到实践》是一本很好的入门书籍，内容涵盖基础语法、数据结构、函数、类等。- 模块的导入与使用：Python中的模块是一个包含Python定义和语句的文件，通过 import 语句导入模块，使用模块中的函数、类或变量。异常处理 - 异常的捕获与处理：使用 try-except 语句捕获异常，当 try 块中的代码发生异常时，程序流程会立即跳转到对应的 except 块中进行处理。- 字典与集合：字典是一种无序的键值对集合，通过键来访问值，具有很高的灵活性。
2024-12-20 10:12:10
393
原创 大数据技术接触pythom
优快云就是我学习过程中的一个重要帮手，上面有许多博主分享的学习经验和代码示例，每当我遇到问题，总能在上面找到答案或灵感。从简单的打印九九乘法表、判断素数，到实现一个简单的计算器程序、猜数字游戏等，这些实践让我对Python的基础知识有了更深入的理解和掌握，也提高了我的编程能力和解决问题的能力。我相信，在今后的学习和工作中，Python将成为我一个有力的工具，帮助我解决更多的问题，实现更多的想法。函数的参数传递和返回值也非常灵活，可以根据需要传递不同的参数，返回不同的结果。
2024-12-20 09:18:27
562
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人