- 博客(7)
- 收藏
- 关注
RSS订阅原创 手动激活azkaban-exec报错：azkaban curl: (7) Failed to connect to localhost port 12321: 拒绝连接
是部署的mysql-5.7版本还是mysql-8.0版本，我的azkaban下载的并不是4.0.0版本而是3.9.0版本，这就导致在lib目录中的mysql驱动jar包默认是mysql-5.2.8版本的，和自己虚拟机中的mysql-8.0版本不兼容。登录mysql,之后将里面的root用户(按照自己配置文件中设置的user用户名来修改，一般都是root)的host字段数据由localhost改成%，让root用户支持远程登陆。该文件在azkaban安装包下的azkaban-exec目录下的conf目录下。
2024-12-03 11:53:38
516
原创 hadoop高可用集群搭建完成之后jps没有namenode
查看在ZKFC格式化之前进行同步namenode操作scp -r /export/data/hadoop/namenode hadoop2:/export/data/hadoop/ (这里的目录是我自己的)时是否成功，有时即使执行了这个命令也会因为不知道什么原因没有将namenode从hadoop1传到hadoop2。最好的办法时执行完scp命令时去hadoop2的对应目录查看一下有没有namenode,正常情况下该目录应含有两个文件，一个是namenode,一个是datanode。
2024-12-02 21:57:02
325
原创 关于zkServer.sh start报错:zookeeper java.net.ConnectException: 拒绝连接 (Connection refused)
可能是暴力关闭虚拟机导致的，进入zookeeper的安装目录下的conf目录下的zoo,cfg文件中，找到clientPort这一行，改下端口号。查看防火墙是否关闭（一般不是这个问题）,systemctl stop firewalld。3:zookeeper集群中每个zookeeper服务的地址及端口号，如。仔细检查，确保这些都配置正确之后再思考别的问题。连接不成功是首先着重检查zoo.cfg中的。重新启动zookeeper看是否启动成功。2:clientPort端口号配置。1:dataDir路径配置。
2024-12-02 21:33:50
301
原创 开启zookeeper服务提示成功开启，但是jps查看没有发现相关zookeeper进程
因为在之前进行作业时，课文要求在该持久化目录中创建myid文件，并在myid文件中分别给三个主机赋予编号123，本人由于直接复制粘贴的老师给的代码资源，没有完全按照课本的数据持久化目录路径进行填写，自身学识不足没有意识到，就导致了在zoo.cfg文件中的dataDir路径和之后创建myid文件的路径不同。2.version-2文件夹下存放的是zookeeper的日志和镜像文件，日志文件存放zookeeper全部数据记录 ，镜像文件则是内存增量文件。
2024-12-02 21:14:59
409
原创 Hadoop JAVA API学习笔记：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)报错
介绍作用 介绍：作用：介绍作用hadoop.dll防止报nativeio异常等(IO流异常)winutiles.exe没有的会报空指针异常等一般情况下如果IDEA中没有配置日志文件，在最终报错结果中只能看到找不到该文件或目录，建议在IDEA中还是配置好日志文件方便查找错误出错：在hadoop作业利用IDEA的JAVA API操作进行数据去重时，总是报错找不到该文件或目录，以下为总结的其他人的方法2.如果不是1的问题，则检查hadoop的windows环境依赖是否已经配置 github连接：
2024-12-02 17:22:05
1164
1
原创 hadoop的环境变量配置
在该窗口中点击[新建]，然后输出上图中最后两行内容，指出hadoop中的bin目录和sbin目录,其中%表示引用这个变量名下的变量值，分号表示多个变量环境之间的间隔，这里相当于引用了HADOOP_HOME中的值F:\hadoop-3.3.0，再跟后面的bin和sbin拼接在一起，结合起来就是路径F:\hadoop-3.3.0\sbin目录和F:\hadoop-3.3.0\bin目录。下载安装包之后，解压安装包，自己选择文件夹进行解压，不过要注意文件夹和目录的名称，解压完成之后进行本地环境变量的配置。
2024-12-02 16:29:36
998
原创 有关Python重复安装numpy库报错No such file or directory: ‘·····\\numpy-1.21.2.dist-info\\METADATA
后找到原因，是因为在命令提示符中删除numpy时没有将C:\Users\lenovo\miniconda3\Lib\site-packages中的numpy以及numpy-1.24.3......这两个文件夹删除，删除后不在出现此报错，但是出现了新的问题。之前已经安装过numpy库，后由于某些原因将其卸载想要重新安装，于是使用 Anaconda命令提示符，输入pip uninstall numpy将其卸载，之后再次下载时报错。http://pypi.douban.com/ 豆瓣。例如：导入numpy库。
2023-10-04 17:37:34
67
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人