- 博客(11)
- 收藏
- 关注
RSS订阅原创 Flume · 大数据世界的“超级水管工”
场景1是最简单的一个Flume配置，它的结构是由以下几部分组成：首先定义各个组件，其次配置Source的类型为exec，并定义了命令command为tail -n 20 /data/flume2/goods(查看/data/flume2目录下的goods文件里的倒数20行记录)，然后配置Channel的类型为memory，Sink的类型为logger，最后将各个组件关联起来（设置Source的Channel为ch，Sink的Channel也为ch）。1. 检查Hadoop相关进程，是否已经启动。
2026-06-29 16:16:15
241
原创 HBASE架构和过滤器
3.在HBase中为某电商创建一个订单明细表，名为order_items，包含两个列族，名为ID和price，ID列族内包含‘item’和‘order’两个列，price列族内包含‘shop’和‘goods’两个列。切换到/data/hbase3目录下，使用wget命令，下载http://192.168.1.150:60000/allfiles/hbase3中的文件。2.检查Hadoop相关进程，是否已经启动。当Hadoop相关进程启动后，进入/apps/hbase/bin目录下，启动HBase服务。
2026-06-29 15:43:40
186
原创 NoSQL和HBase
6.使用vim编辑/apps/hbase/conf/regionservers文件，此文件存储了HBase集群节点的ip地址，目前只有一台节点，所以只需要填写localhost即可。2.将/data/hbase1目录下，HBase的安装包hbase-1.0.0-cdh5.4.5.tar.gz，解压缩到/apps目录下。切换目录到/data/hbase1下，使用wget命令，下载HBase所需安装包hbase-1.0.0-cdh5.4.5.tar.gz。此时就可以调用HBase的bin目录下的脚本了。
2026-04-30 11:35:52
346
原创 Hive大揭秘 一个能把“海量积木”变成“Excel表格”的神奇翻译官
Hive 是把“庞大杂乱的大数据文件”包装成“普通SQL表格”的神器，让你像操作Excel一样分析几百TB的数据！它不存储数据，但帮你整理“索引”和“翻译”，是数据科学家的好帮手。
2026-04-23 11:34:11
242
原创 大数据运维：集群组件部署
zookeeper官网描述“Apache ZooKeeper致力于开发和维护实现高度可靠的分布式协调的开源服务器”。什么意思呢？就是Apache ZooKeeper的目标是开发和维护开源服务器，这服务器是干什么的呢？是做分布式协调的。这服务器的特点是什么呢？是高度可靠的。由于zookeeper高度可靠，应用界的大佬solr和大数据服务界的大佬Hadoop就是使用zookeeper提供集群管理。
2026-04-09 12:25:14
396
原创 大数据运维：分布式集群的基础配置
创建/data/hadoop1目录，用来存放相关安装工具，如jdk安装包jdk-7u75-linux-x64.tar.gz及hadoop安装包hadoop-2.6.0-cdh5.4.5.tar.gz。切换目录到/data/hadoop1目录，使用wget命令，下载所需的hadoop安装包jdk-7u75-linux-x64.tar.gz及hadoop-2.6.0-cdh5.4.5.tar.gz。将/data/hadoop1目录下jdk-7u75-linux-x64.tar.gz 解压缩到/apps目录下。
2026-04-09 11:05:29
371
原创 大数据运维：大数据分布式集群Hadoop
Hadoop 就是让“一群普通服务器”像一台超级计算机一样，安全、高效地搞定海量数据的存储与计算，是大数据技术的基石。
2026-04-02 09:59:41
428
原创 了解Linux系统的组成、熟练操作Linux系统的基本命令
2.还有从ssh或telnet等从网络连接到电脑上的终端，或者从图形虚拟终端打开的命令行终端，都称为伪终端，使用pts/N表示，对应的设备为/dev/pts目录下的数值N文件。Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。man命令是Linux下的帮助指令，通过man指令可以查看Linux中的指令帮助、配置文件帮助和编程帮助等信息。6.1date命令的输出结果可以对当前时间的以传递的参数进行格式化。
2026-03-19 10:35:19
343
原创 皮肤病数据集分析项目
这段Python代码实现了一个皮肤病分类预测模型，使用随机森林算法进行训练和评估，包含数据划分、模型训练、预测评估和特征重要性分析等完整流程。该代码执行皮肤病患者的趋势预测和模拟分析，主要包含四个部分：年龄趋势分析、症状严重程度分析、未来趋势预测模拟和疾病类别风险评估。# 生成关键发现和统计摘要print("=== 中国皮肤病患者数据分析 - 关键发现 ===")# 1. 基本统计信息print("1. 数据概况:")print(f" • 总患者数: {len(df)} 人")
2025-12-19 23:26:09
797
原创 基于AI的个性化医疗健康管理平台
定义更加复杂的模型return x| 组件 | 配置参数 | 作用说明 || 输入层 | in_features=10 | 对应10个健康指标 || 全连接层 | 128→64→32递减结构 | 逐步提取高阶特征 |
2025-10-13 19:40:55
1079
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人