- 博客(734)
- 资源 (21)
- 收藏
- 关注
RSS订阅
原创 常用网站网址
unix时间戳工具：http://tool.chinaz.com/Tools/unixtime.aspxjs在线编辑工具：https://c.runoob.com/front-end/61代码编辑器：https://leetcode-cn.com/playground/new/emptygithub搜索链接：https://github.com画图工具：https://www.dr...
2019-01-21 12:44:13
1931
原创 Hadoop集群无datanode进程
2、将集群所有主机中的存储的文件删除 rm -rf $HADOOP_HOME/tmp/*hadoop集群启动，没有datanode进程。操作命令：1、停止集群stop-all.sh。3、重新启动集群start-all.sh。解决方案：删除存储的文件。
2026-10-23 15:32:08
196
原创 hadoop部署错误-namenode address dfs.namenode.servicerpc-address not configured
检查：$HADOOP_HOME/etc/hadoop/core-site.xml文件配置。尤其是fs.default.name这组属性。
2026-10-16 17:52:49
24
原创 hadoop部署错误：URI has an authority component
检查：$HADOOP_HOME/etc/hdfs-site.xml文件的dfs.namenode.name.dir是否正确配置。
2026-10-16 15:14:54
42
原创 使用MapReduce完成词频的统计
创建Java类MyMapper。继承父类Mapper，重写父类map()方法。/** k1:表示每一行的首地址，longWritable* v1:表示每一行的内容，Text* k2:表示每一行的单词，Text* v2:固定为1，LongWritable* *//** 继承父类，重写map()方法* *///对v1使用空格进行分割，返回单词数组/** v1：Mapper 输入的值（一行原始文本，类型Text）
2026-08-06 23:45:11
290
原创 HDFS文件运行疑问罗列及解决
编译阶段必须读取 Maven 下载的 Hadoop 依赖包，来源是pom 里配置的hadoop依赖，Maven 会从远程仓库下载到你本地 Maven 仓库（.m2/repository），编译时 JDK 会加载这些 jar，识别 FileSystem、Configuration 等类，代码不爆红、编译不报错。真正启动 Java 客户端去连接 Linux HDFS 时，Hadoop 底层需要 winutils 处理 Windows 系统权限，此时才依赖本地 Hadoop 文件夹。
2026-06-27 10:42:04
288
原创 将windows中HDFS-javaAPI文件打包，在linux的hadoop平台运行
打进 Jar 包，编译时保留、打包剔除集群执行用 hadoop jar 命令时，程序运行依赖的 Hadoop 核心包（hadoop-common、hadoop-hdfs、mapreduce、yarn 等）全部由集群服务自带，运行时自动加载，不用打入自己的业务 Jar。hadoop jar 读取 Jar 内部 META-INF/MANIFEST.MF 里的 Main-Class 属性，如果配置了，命令行可以省略主类全名，直接传业务参数。不是具体异常，代表 Maven 打包进程被系统 / IDE 强制终止，
2026-06-26 21:37:28
370
原创 Maven在IDEA中的配置
内置 Maven 的配置文件路径很深：IDEA安装目录/plugins/maven/lib/maven3/conf/settings.xml修改、备份、复制给同事很麻烦。conf 文件夹随手就能找到；可以统一配置私服、镜像、本地仓库路径、仓库账号；换电脑直接复制整个 maven 文件夹带走，不用重新配置。
2026-06-26 09:53:11
1374
原创 HDFS javaAPI-windows的IDEA中java文件在linux中的hadoop平台运行
1、windows能ping通虚拟机IP地址【虚拟机网络改为桥接模式，改为固定IP】2、Linux开放端口：9000,9870,8088【使用windows的 PowerShell，执行：Test-NetConnection IP地址 -Port 9000，需要修改linux中hadoop配置文件hdfs-site.xml和core-site.xml】3、windows配置Hadoop本地依赖4、Maven中pom.xml文件中引入和linux中hadoop集群版本一致的hadoop依赖。
2026-06-25 23:19:27
371
原创 Hbase重启后，只有HMaster，无HRegionServer,报错passed in file status is for something other than a regular file
去hbase监控页面发现有一个task一直处于等待状态，查看hdfs文件发现wal日志下的这个文件夹包含一个空文件，与上面报错的passed in file status is for something other than a regular file相关，将空文件移除:hdfs dfs -rm -r -f /Hbase/WALs。重启完regionserver后问题依然在，又把master也重启了，之后regionserver一直挂，报错。看日志报错信息有点摸不到头脑，搜了一堆没有相关的解决方案。
2025-12-24 10:32:21
299
原创 datagrip访问远程hive库
1、hadoop在虚拟机的ubuntu系统中安装好并启动成功后，可以在本地使用master:9870进行访问。五、若只显示default数据库，需要hive库中显示所有数据库，进行设置，选择apply。2、hive数据库可以使用安装在ubuntu系统中dbeaver-ce进行访问。
2025-11-30 21:08:44
364
原创 hive初始化元数据报错java.lang.classnotfoundexception
未将mysql-connector-java-5.1.35.jar复制到$HIVE_HOME/lib路径下。将mysql-connector-java-5.1.35.jar复制到$HIVE_HOME/lib路径下。
2025-11-26 11:16:04
260
原创 java学习一-java程序运行过程
Java程序的运行是一个从源代码到机器指令的转换过程，涉及编写、编译、加载、验证和执行五个步骤。每个步骤都至关重要，确保了Java程序的跨平台性和高效运行。
2025-11-23 21:38:27
817
原创 hbase启动报错-keeperErrorCode
判断是配置出问题了，所以去检查配置文件，我们可以看到hbase中conf下的hbase-site.xml的。如果配置环境变量了可以在任意目录下输入 hase shell，然后就会进入到hbase控制台。错误内容为： cannot get master address from zookeeper。第二步：查看日志，$HBASE_HOME/logs文件夹中。hadoop配置core-site.xml为。HMaster进程消失。
2025-11-06 16:56:21
272
转载 IDEA server乱码
IntelliJ IDEA 如果不进行配置的话，运行程序时控制台中文乱码问题会非常严重，严重影响我们对信息的获取和程序的跟踪。特总结以下 4 点用于解决控制台中文乱码问题，希望有助于大家。注意：下面根据我日常工作的经验总结，排序的先后即为我们需要注意修改的先后。在每次进行修改之后一定要重启 IntelliJ IDEA 使配置生效。上方导航栏“Help→Etit Custom VM Options…”进入自定义虚拟机选项页面。
2025-07-09 09:45:01
333
原创 Failed to execute goal org.apache.maven.plugins:maven-archetype-plugin:3.4.0:generate (default-cli)
下载最新的 Maven： 前往 Maven 官方下载页面。下载 apache-maven-3.6.3-bin.zip 或更高版本。解压文件并配置环境变量： 设置 MAVEN_HOME 为解压路径。-- 使用兼容的较低版本 -->文件，将插件版本降级到与当前 Maven 兼容的版本。，而当前使用的 Maven 版本低于此要求。如果无法升级 Maven，可以修改项目的。要求 Maven 的最低版本为。
2025-07-07 16:14:19
662
原创 下载链接记录
下载歌曲：https://www.gequbao.com/music/79500pdf转word：下载文件 | iLovePDF识别文字：CatOCR: 易飞文字识别, 免费在线图片转文字
2025-06-20 23:36:02
356
原创 hive安装日志
可以看到，hive cli加载的配置文件是 /opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/jars/hive-common-1.1.0-cdh5.14.4.jar!2、在${HIVE_HOME}/conf/hive-log4j.properties文件中找到 hive.root.logger 属性，并将其修改为下面的设置。在 ${HIVE_HOME}/conf/hive-log4j.properties 文件中记录了Hive日志的存储情况，
2025-05-12 09:09:47
1445
原创 Centos7 ftp、sftp无法使用ftp连接虚拟机
默认情况下vsftp是不允许root用户登录的，可以通过修改限制来解决这个问题。在ftpusers user_list中将root用户注释，重新启动vsftpd。2、查看ssh服务是否已经安装，是否已经启动，ssh配置是否正确。之后开启服务:systemctl start vsftpd。4、查看虚拟机IP地址，与虚拟网络编辑器设置在同一网段。命令:yum -y install vsftpd。/etc/ssh/sshd_config文件中。1、查看是否安装vsftpd。首先找到vsftp的配置目录。
2025-04-20 14:31:43
738
原创 zookeeper启动报错have small server identifier
2、查看server.X 与myid的X是否一致。3、启动顺序为myid从小到大的服务器顺序。1、查看myid是否有重复。
2025-04-18 16:10:59
299
原创 hive分区数据插入分区表报错 number of reduce tasks not specified
再将此文件同步给hadoop集群其他节点，然后关闭hadoop集群，重新开启。如果无效，修改hadoop配置文件yarn-site.xml。如果还是不行，再运行一次。笔者通过此方案解决了。
2025-04-07 11:16:11
459
原创 启动nginx报错failed to start nginx - high performance web server
打开/etc/nginx/nginx.conf配置文件，查看是否有 server模块，如果有，将里面的 listen端口号改为8082，如果没有，打开默认文件/etc/nginx/conf.d/default.conf修改 server模块的 listen端口号。日志位置在/etc/nginx/nginx.conf中显示。systemctl restart nginx即可。错误内容显示：80端口已经被占用。然后重新加载nginx。1、查看日志报错内容。
2025-04-02 21:22:35
1381
转载 Hive在执行插入数据等job任务出错
1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)（注：可用参数hive.mapred.local.mem(默认0)控制child jvm使用的最大内存数。(默认为false)3.job的reduce数必须为0或者1。然后再去执行就OK了。
2025-03-28 15:55:10
172
原创 hive报错Exception in thread “main“ java.lang.NoClassDefFoundError: jline/console/completer/ArgumentCom
此问题是hadoop与hive中的Jline包版本不一致导致的，解决办法就是将hive/lib下的Jline-2.12.jar复制到hadoop/share/hadoop/yarn/lib/下即可。
2025-03-24 11:34:49
225
原创 mysql部署错误
1、查看 /etc/my.cnf日志所在路径:/var/log/mysqld.log。删除/var/lib/mysql下所有文件内容，重新启动即可。第一次编辑/etc/my.cnf错误，修改后再次运行。
2025-03-24 11:27:04
360
原创 hadoop在put数据时，出现org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException 分析
NotReplicatedYetException这个异常是在写文件过程中新分配一个数据块getAdditionalBlock()时调用checkFileProgress(pendingFile, false)检查。检查$HADOOP_HOME/etc/hadoop/worker文件中是否至少有三个节点，如果不够，请添加三个节点及以上。，不达到则抛NotReplicatedYetException。
2025-03-17 09:13:37
460
hive web配置过程及所用资源
2023-12-05
ssd_mobilenet_v2_coco_2018_03_29.tar.gz
2020-01-06
intellibot.rar
2020-08-02
火狐53和seleniumIDE2.9.rar
2019-09-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人