大数据异常处理
关注
分享
扫一扫
文章平均质量分 65
排骨学长（\t）
你不努力上天就会收回你的天赋
展开
-
vmware克隆虚拟机以后ping不通百度，ping百度未知服务名，hadoop搭建克隆后第2，3台虚拟机ping不通百度
vmware克隆虚拟机以后ping不通百度，ping百度未知服务名，hadoop搭建克隆后第2，3台虚拟机ping不通百度。场景：今天在帮班里面美女解决问题的时候遇到的。原因就是他们在搭建hadoop的时候，将第一台克隆成三台的时候发现后面的salve1和slave2ping不通www.baidu.com，报文就是未知服务。我一一排查以后还是不行，最后发现在网络配置文件中的MAC地址三台都一样，那还得了，每个设备的MAC地址应该是独一无二的，以确保网络上的数据能够正确地发送到目的地。原创 2024-03-25 22:21:56 · 1009 阅读 · 1 评论 -
File xxxxx/in/part0 could only be written to 0 of the 1 minReplication nodes. There are 0 datanode。。
虽然还没有弄清楚其中的底层关系，命令本身并不直接与 DataNode 交互，但当该 MapReduce 作业运行时，它会利用 DataNode 来存储和检索数据，从而实现分布式计算。有知道的可以评论让小弟长长知识。经过排查日志和百度总结了一个解决问题的办法就是给NameNode所在的节点增加DataNode。只规划了两个Datanode，这是最近看到学校老师文档的规划，简陋教学版。计算一个π的值，并使用10个映射任务和10个归约任务来估算π的值。在执行测试MapReduce命令的时候出现这个错误。原创 2024-03-17 00:20:53 · 506 阅读 · 1 评论 -
DataX运行报错：数据库服务的IP地址或者Port错误，请检查填写的IP地址和Port或者联系DBA确认IP地址和Port是否正确。如果是同步中心用户请联系DBA确认idb上录入的IP和PORT信息
第一眼看到我就马上打开了这个任务的json，检查了好几次连接串都正确，起初host我写的是hostname的，如何修改为IP，还是报错，最后改成现在报文所示的127.0.0.1，最终确定绝对不是host问题。既然不是host和port的问题。是不是因为连接串参数问题，我报错的连接串是什么参数都没有添加的，说不定因为这个，马上让我联想到了一个参数useSSL=false。会不会是因为没有禁用SSL进行连接的问题呢。最后运行果然成功了不报错了。如果有大佬有更加标准的解释或者解决方案，还望在评论区不吝赐教！原创 2024-01-28 21:04:31 · 747 阅读 · 1 评论 -
hadoopHA高可用下部署大数据组件[master/master:16000:becomeActiveMaster] master.HMaster: ***** ABORTING master
master.HMaster: ***** ABORTING master master,16000,1698415940227: Unhandled exception. Starting shutdown. *****org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby. Visit原创 2023-10-28 13:09:01 · 574 阅读 · 1 评论