
大数据
文章平均质量分 61
manster1231
项目有需要私聊
展开
-
manster网易云音乐大数据分析
manster网易云音乐分析gitee地址:https://gitee.com/manster1231/manster-cloud-music-analysis介绍一个简单的网易云音乐大数据分析,采用 Saprk 框架进行分析,并以前端 vue 使用 ECharts 作为展示环境jdk-1.8,scala-2.12.13,nodejs-12.1.0,hadoop-2.7.3安装教程首先安装好以上环境(配到环境变量中)使用 vscode 或者 webstorm 打开 music-demo 文原创 2022-05-25 09:22:43 · 2208 阅读 · 1 评论 -
manster的B站大数据分析课程设计
基于B站纪录片使用 Python 进行爬取,使用 Spark 进行对数据的分析,使用 ECharts 展示数据环境jdk-1.8,scala-2.12.13,nodejs-12.1.0,hadoop-2.7.3,python-3.7原创 2022-03-07 15:52:53 · 415 阅读 · 0 评论 -
太原理工大学数据挖掘实验
实验一 决策树1、数据集收入信用历史债务结果0_5KBadLowReject0_5KGoodLowApprove0_5KUnknownHighReject0_5KUnknownLowApprove0_5KUnknownLowApprove0_5KUnknownLowReject5_10KBadHighReject5_10KGoodHighApprove5_10KUnknownHig原创 2021-12-26 10:34:44 · 1826 阅读 · 0 评论 -
伪分布式Hadoop+Spark安装与配置,并实现WordCount
在我们学习时更多的是用伪分布式环境来进行操作,以下就是伪分布式Hadoop+Spark安装与配置centos:7.4jdk:1.8hadoop:2.7.2scala:2.12.13spark:3.0.11、配置虚拟机下载centos-7,安装虚拟机1、配置静态ipvi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=no# 修改为 staticBOOTP原创 2021-12-13 17:36:35 · 3496 阅读 · 0 评论 -
HBase与mapreduce做官方案例的一次天坑
HBase-2.3.4Hadoop-3.2.2问题是这样的:根据HBase官方的提示在虚拟机上完成了整合,然后就开始使用java的API进行操作1.导入pom <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId>原创 2021-02-25 17:33:22 · 245 阅读 · 0 评论 -
kafka与zookeeper安装(疯狂踩坑)
文章目录zookeeper3.5.8安装1.集群规划2.解压安装3.配置服务器编号4.配置 zoo.cfg 文件5.集群操作kafka 2.13-2.7.0安装1.安装部署1.集群规划2.jar 包下载2.集群部署坑来了1.zookeeper启动报错2.kafka启动后秒退3.kafka单台机器启动没问题,一旦使用群起脚本就不报错也没有反应4.kafka官方的stop脚本不能关闭进程zookeeper3.5.8安装1.集群规划在 hadoop102、 hadoop103 和 hadoop104 三个节原创 2021-02-15 09:29:42 · 1971 阅读 · 1 评论 -
hive加载自定义函数报错Unsupported major.minor version 55.0
报错信息FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.FunctionTask. com/manster/MyUDF : Unsupported major.minor version 55.0问题打包好的jar包不是以jdk1.8或者1.7的格式进行编译打包的,hive加载不了解决在idea的pom文件中增加一个打包插件<build> <plugins>原创 2021-01-31 13:43:04 · 1769 阅读 · 0 评论