- 博客(11)
- 收藏
- 关注
RSS订阅原创 ubuntu下载flume1.10.0
修改/usr/local/flume-1.10.0/conf/flume-env.sh。配置：Hadoop3.3.5，spark3.5.4，jdk17。#Java_Home如果已经有了就不用添加了。#在文件开头增加一行，设置JAVA_HOME。根据自己电脑的配置选择适合的flume版本。#在bashrc中加入以下内容。c.查看flume版本信息。
2025-03-26 18:07:59
396
原创 下载配置简单使用kafka
下载版本：https://download.oracle.com/java/17/archive/jdk-17_linux-x64_bin.tar.gz (sha256)解压JDK:tar -xzvf /home/waq/下载/jdk-17_linux-x64_bin.tar.gz -C /usr/lib/java。2.解压：tar -xzvf /home/waq/下载/kafka_2.13-4.0.0.tgz -C /usr/local。‘使用者’读取’生产者’输入的信息。Ctrl-C 结束会话。
2025-03-19 20:55:39
666
原创 web网站，用户登录，连接串口，实时曲线，历史曲线，数据报表，导入excel
连接串口，实时从串口获取数据显示在曲线上并将数据实时插入数据库。默认显示最新的20条数据，右上角可进行自定义查询条数。2.串口关闭状态下的实时曲线。显示数据库中插入的所有数据。9.安全退出，回到登录页面。右上角可根据日期进行查询。3.串口连接下的实时曲线。7.历史数据-数据报表。8.数据导入excel。5.历史曲线-柱状图。6.历史曲线-折线图。
2024-12-23 15:22:02
224
原创 用Java拷贝文件到HDFS
点击Next按钮，在弹出的窗口中，Group id （一般为公司组织名称）填写 :learning ，Artifact Id(项目名称) 填写:hadoop。在弹出的窗口中左边窗口选择Java Build Path,右边选择Libraries 下的JRE System Libray选项后，点击 Edit 按钮。点击 Next 按钮，在弹出的窗口里 ，点击JRE home 后面的 Directory按钮,选择jdk安装的目录。点击add按钮，弹出的Add JRE窗口 选择 Standard VM。
2024-10-28 23:49:40
1098
原创 实现MapReduce程序完成行统计
运行LineCount程序命令:bin/hadoop jar /home/hadoop/mapreduce/MapReduce.jar com.learning.mapreduce.LineCount /input /output/linecount。xftp连接master服务器，在右框打开/home/hadoop/mapreduce目录，左框打开eclipse-workspace/MapReduce/target目录，将左框的MapReduce.jar文件复制粘贴到右框。
2024-10-09 22:52:16
1870
2
原创 hive的安装配置和简单使用
本文用到了hadoop2.7.4，xshell,xftp，hive2.3.9压缩包，驱动。一个主机waq,两个从机s1,s2。本文仅供参考，请根据自己的实际情况进行修改。
2024-09-09 07:00:00
2250
原创 3.Hadoop环境搭建之Hadoop的安装和配置
创建目录name:mkdir /home/hadoop/hadoop-2.7.4/hdfs/name。创建目录data:mkdir /home/hadoop/hadoop-2.7.4/hdfs/data。到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop。到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop。创建目录hdfs:mkdir /home/hadoop/hadoop-2.7.4/hdfs。安装包需要提前准备好。
2024-09-08 19:00:00
3051
1
原创 2.Hadoop环境搭建之安装和配置jdk环境
图标新建会话属性，输入名称，主机（填对应的主机ip地址）->点左边框的“用户身份验证”(另外两个操作相同)。右栏中在/user/lib目录下新建java文件夹（我的lib目录下之前就有java 文件夹，就不再建了）。此操作之后，要在另外两台虚拟机上配置/etc/profile文件。进入java目录cd /usr/lib/java。在/usr/lib目录下：cd /usr/lib。编辑文件：vim /etc/profile。编辑文件：vim /etc/profile。传送文件到s1和s2：（已传过）
2024-09-07 14:48:10
760
1
原创 1.Hadoop环境搭建之配置虚拟机环境
(1)使用如下命令可以为本服务器生成公钥(id_dsa.pub)和私钥(Id_dsa),要求输入passphrased的时候直接敲回车：ssh-keygen -t dsa -f ~/.ssh/id_dsa。（3）使用scp命令，将主服务器的公钥文件id_dsa.pub复制到从服务器上，并命令为server-1.pub（此文件名可以自己随意起）scp ~/.ssh/id_dsa.pub。输入此命令后，会要求输入s1服务器的root账号密码，输入密码即可。我这里添加了三个，第一个主机，后两个从机。
2024-09-07 14:29:42
1080
原创 在Anaconda安装CPU版本的pytorch和tensorflow
新手上路，自己研究下载的过程，欢迎大家多多提出意见。建议先看看我出现的问题，避雷一下。这里不讲解如何安装anaconda,默认anaconda是已经安装好可以正常使用的。在Anaconda Prompt上进行操作。
2024-09-06 23:02:33
1407
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人