大数据技术与应用
文章平均质量分 71
默然生风
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
十三、Kafka基础环境实战
(启动Hadoop:start-all.sh 启动Hadoop:zkServer.sh start)此次实验有些许复杂,需要细心操作。复制一个会话(第三个)原创 2025-12-16 16:16:44 · 955 阅读 · 0 评论 -
十一、Flink基础环境实战
实验结束。原创 2025-12-15 08:40:51 · 337 阅读 · 0 评论 -
十二、大数据数据可视化实战
var dataLabels = ["类别1", "类别2", "类别3", "类别4", "类别5", "类别6", "类别7", "类别8"];xAxis:{data:["衬衫","羊毛","袜子","帽子","皮鞋"]},type: 'pie', // 设置图表类型为饼图。原创 2025-12-15 08:47:19 · 605 阅读 · 0 评论 -
十、Scala应用实践(下)
7.复制spark-env.sh.template模板文件,生成实际生效的spark-env.sh配置文件(用于设置 Spark 环境变量)。在启动zookeeper后,输入jps,若没有出现Quorum Peer Main,而是出现already running。首先,拍快照.确保Hadoop和zookeeper已经启动成功!zkServer.sh start --启动zookeeper。start-all.sh --启动Hadoop。5. 切换当前工作目录到/spark312。原创 2025-12-08 09:18:56 · 387 阅读 · 0 评论 -
九、Spark基础环境实战(下)
println("命令列表:") println(" add [事项] - 添加待办事项")println(" delete [序号] - 删除指定待办事项")println(s"已添加: ${input(1)}")println(" list - 查看所有待办事项")println("=== 待办事项管理器 ===")println("请输入有效的数字序号")println("待办事项:")println("未知命令,请重试")println("没有待办事项")println("无效的序号")原创 2025-12-01 11:38:48 · 344 阅读 · 0 评论 -
十、 Scala 应用实践 (上)
val longestWord = if (words.nonEmpty) words.maxBy(_.length) else "无"println(s"最长的单词:$longestWord(长度:${longestWord.length})")println(s"字符总数(包括空格):$charCount")println("请输入一段文本(输入空行结束):")println(s"单词总数:$wordCount")println("\n分析结果:")println("文本分析器")原创 2025-11-25 15:20:48 · 180 阅读 · 0 评论 -
九、Spark基础环境实战((上)虚拟机安装Scala与windows端安装Scala)
出现此形式则成功。首先在安装之前,确保本地已经安装了JDK1.5以上的版本,在此安装的是1.8版本。并且已经设置了JAVA_HOME 环境变量及JDK的bin目录。1、新建JAVA_HOME环境变量桌面找到【此电脑】,右击【此电脑】–【属性】–【高级系统设置】–【环境变量】。2、编辑path系统变量,添加%JAVA_HOME%\bin3、验证环境变量是否配置成功。1.下载Scala安装文件接着我们从Scala官网地址 上下载Scala二进制的包。点击Scala2.13.12后进入到下载页面。原创 2025-11-25 15:11:23 · 567 阅读 · 0 评论 -
七、 Linux搭建Hive环境(下)
apache-hive-3.1.2-bin.tar.gz包到当前目录。6.复制mysql-connector-java-8.0.25.jar和。4.使用navicat打开服务器端的mysql数据库,并连接,3.确保zookeeper已经启动。创建数据库,库名和机器名保持一致。2.确保hadoop已经启动。原创 2025-11-18 15:25:17 · 938 阅读 · 0 评论 -
八、 Hive环境应用实战
SELECT name,age,salary FROM employees WHERE department = '技术部';2.确保Hadoop,Zookeeper,Hive已启动,并启动Hive。(1,'张三',30,'技术部',8000.00),(2,'李四',28,'市场部',7500.00),(3,'王五',35,'财务部',9000.00),(4,'赵六',25,'技术部',6500.00);5.创建支持ACID的员工表。15.查询删除后的结果。原创 2025-11-18 15:31:37 · 740 阅读 · 0 评论 -
六、 Linux搭建Hive环境(上)
3.下载msyql的repo源并安装rpm包。2.查看默认的mysql并卸载。7.登录mysql数据库并授权。10.登录mysql数据库。6.重启mysql数据库。8.使配置生效并退出。原创 2025-11-17 09:38:07 · 308 阅读 · 0 评论 -
五、Hbase基于环境搭建
输入jps查看,如果未启动则start-all/sh (启动Hadoop)----------->zkServer.sh start (启动zookeeper)注意:红色框中的内容要改为自己本机的IP地址后两位。2、确保Hadoop和zookeeper已经启动。再次输入jps,若出现一些日志文件则启动成功。4、上传hbase的tar包。8、进入env去添加内容。3、切换到soft目录。7、切换到conf目录。原创 2025-11-10 08:48:31 · 342 阅读 · 0 评论 -
四、Zookeeper基础环境实战
1.首先拍快照2、3、4、解压5、重命名7、增加一个文件8、修改内容vi zoo.cfg10、source /etc/profile12、13、测试Jps若有下图则成功。原创 2025-11-03 10:22:32 · 149 阅读 · 0 评论 -
二、大数据基本软件的安装
<name>dfs.namenode.name.dir</name><value>$installdir/hadoop313/data/dfs/name</value><description>namenode上存储hdfsq名字空间元数据的目录</description>原创 2025-11-03 09:05:35 · 857 阅读 · 0 评论 -
三、HDFS和Map reduce基本命令操作
启动Hadoop方法:start-all.sh 然后jps查看,若出现日志文件,则启动成功。输入jps,如果出现只有jps进程,说明Hadoop未启动。3、上传文件到HDFS指定目录下。4、查看HDFS文件内容。二、Mapreuduce。原创 2025-11-03 10:24:46 · 339 阅读 · 0 评论 -
大数据基础环境搭建(下)
注意,在连接过程中要关闭防火墙。在虚拟机上输入config查看IP地址,通过IP地址来连接。4、连接第三方软件Xshell或MobaXterm(这里使用的是Xshell)ssh-copy-id 机器名。3、清除yum缓存并建立缓存。连接成功后如下图所示。原创 2025-10-27 09:40:20 · 442 阅读 · 0 评论 -
一、大数据基础环境搭建(上)
环境搭建原创 2025-10-27 09:04:32 · 172 阅读 · 0 评论
分享