- 博客(10)
- 收藏
- 关注
RSS订阅原创 用Spark进行地铁交通客流分析
将地铁入站信息与地铁出站信息分别放到两个dataframe中。将dataframe中的时间转换为timestamp类型。这种方法还有一些问题，暂时还没有想到更完美的方案。为dataframe产生一列自增不重复的id序列。修改地铁出站的dataframe的列名。以id内连接两个dataframe。将RDD转换为DataFrame。自定义函数将出入站站点放在元组中。将数据按卡号与时间升序排列。筛选7，8点入站的信息。存储分析结果到hdfs。以出入站元组分组计算。
2025-03-20 10:41:24
813
原创 Kafka+Spark-Streaming实现流式计算（WordCount）
下载spark-token-provider-kafka-0-10_2.12-3.2.0.jar：https://mvnrepository.com/artifact/org.apache.spark/spark-token-provider-kafka-0-10_2.12/3.1.1。将/home/ZQ/software/kafka/libs目录下的kafka-clients-3.0.0.jar拷贝到/home/ZQ/software/spark-3.1.1-bin-hadoop2.7/jars目录下。
2025-03-16 15:19:03
1464
原创 HBase配置
先看自己的hdfs和Hbase还有没有什么没有工作完，等他们工作完毕够，先关闭hdfs然后再关闭hbase。需要将配置文件hbase-env.sh中的内容注释掉。web界面进不去（500）
2025-03-14 10:13:27
476
原创 hadoop环境搭建
1、NameNode发现集群中DataNode丢失达到一定比例（0.01%）时会进入安全模式，此时只允许查看数据不允许对数据进行任何操作。2、HDFS集群即使启动正常，启动只会依旧会进入安全模式一段时间，这时你不需要理会他，稍等片刻即可。可以通过修改core-site.xml，配置为当前用户，所有的配置可以现在一个结点上配置好后拷贝到其他结点。进入到该目录下对文件进行修改。（文件夹路径是自己创建的）启动HDFS 主节点执行。停止HDFS 主节点执行。
2025-03-14 10:01:18
613
原创 镜像转换 Windows server 2012
VMware 16 安装 Windows server 20121.新建虚拟机2.安装2.1选择自定义安装2.2默认下一步2.3稍后安装操作系统2.3选择客户机操作系统和版本2.4虚拟机名字自定义，安装路径尽量不要选择c盘2.5根据需要选择固件类型创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入1.新建虚拟机2.安装2.1选择自定义安装
2021-08-25 21:59:29
3624
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人