- 博客(7)
- 收藏
- 关注
原创 ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile(file=/op
第一种:将其他正常启动节点namenode的opt/module/hadoop-3.1.3/data/dfs/name/current/下的文件copy过来,但是我就一个namenode节点,显然这个解决不了问题。由于在启动大数据集群时,电脑突然卡机(完全卡死),然后强制关机,再次启动集群时发现namenode启动不起来。第二种:将hadoop集群重新格式化,重新格式化数据丢失不说,还会出现各种错误,显然也是下下策。将上面报错的文件先进行备份,然后将其删除,重新启动集群即可解决问题(亲测有效)
2024-08-02 10:46:51
258
原创 启动hive报错:Cannot create directory /tmp/hive. Name node is in safe mode
原文链接:https://blog.youkuaiyun.com/byrtgg/article/details/114253708。另外:启动hive之前需要启动mysql。使用 su - hdfs 退出安全模式。解决方法:退出安全模式。
2024-08-02 10:42:21
442
原创 Hadoop 2.x与Hadoop 3.x之间比较
Hadoop 2.x - 在Hadoop 1.0中,只有一个NameNode来管理所有Namespace,但在Hadoop 2.0中,多个NameNode用于多个Namespace。Hadoop 3.x - 此处,MR API与运行Hadoop 1.x程序兼容,以便在Hadoop 3.X上执行。Hadoop 3.x - 可以使用Hive,pig,Tez,Hama,Giraph和其他Hadoop工具。Hadoop 2.x - 使用Hive,pig,Tez,Hama,Giraph和其他Hadoop工具。
2024-06-28 16:37:39
538
原创 mysql5.7实现rownumber开窗函数
Hive开窗函数:mysql实现:selectsex, name,@c := sex,@d := name。
2024-06-18 16:34:45
460
1
原创 我的算法学习
算法相对于Dijkstra算法的优势在于,它通过引入启发式函数h(n)来提高搜索的效率,可以更轻松地用于游戏地图寻路等实际应用中。而Dijkstra算法则适用于需要计算源点到其他所有点的最短路径长度的场景。A*算法是一种路径搜索算法,用于在图或网络中找到从起点到目标点的最短路径。它综合了Dijkstra算法的广度优先搜索和启发式搜索的思想。算法在目标点较多时可能会引入重复数据和复杂的估价函数,因此如果只关注路径长度而不需要具体路径时,Dijkstra算法可能更适合。路径搜索 A* 算法。
2023-08-28 16:35:58
39
原创 Python学习文档
字符串中的某个字符,列表中的某个元素。索引值可以是0和正整数,如果字符串或者列表的长度为n,则。对于列表,list_2[::-1],效果和reverse()方法类似,区别在于前者创建了一个新的列表,后者是把原列表逆序,没有返回值。而对于字符串,因为字符串immutable类型,也就是说字符串的值是不能修改的,想用类似。我们可以考虑用列表推导式先把数字列表转换为字符串列表,再用join()方法转换为字符串。的方式修改字符串str_1的值,是不可以的。一、字符串和列表的异同点。列表和字符串之间的转换。
2023-08-28 16:24:06
134
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人