- 博客(3)
- 收藏
- 关注
RSS订阅转载 HDFS文件系统命名空间
HDFS Namespace 在HDFS中，我们知道NameNode负责管理文件系统的命名空间，那么NameNode到底怎么管理HDFS的命名空间，又有哪些内容需要管理呢？我们接下来将讨论到这两个问题。 作为HDFS的Master，NameNode掌握着整个HDFS的文件目录树及其目录与文件，这些信息会以文件的形式永久地存储在本地磁盘。我们可以在$HADOOP_HOME/tmp/dfs/nam...
2020-03-18 14:14:23
6451
原创 hadoop文件系统为什么不支持随机写
1:hadoop设计的初衷是大规模数据的计算和olap分析, 应用场景区别与数据库,所以在HDFS设计时候就侧重在一次写入多次读取 2: 假设现在我们在HDFS中加入了随机写.那么为了正确性我们需要保障的东西有哪些? 鉴于hadoop设计之初是想在廉价硬件上执行大规模的数据计算,HDFS是设计的必须支持CAP理论之分区容错性(partition tolerance)来抵消不可靠硬件随时会宕机的...
2019-06-07 11:18:00
4172
原创 用BCP命令将TSV，CSV等包含日期数据的字段导入SqlServer数据库
如果数据库中的对应的字段是Datetime类型，而TSV等类型的文件中包含一个时间字段例如2012-12-12 11:11:11 这种情况下导入是会失败的，修正方法是把数据库中的Datetime类型修改为Datetime2类型，以下为百度百科 DateTime2是从SQL2008开始支持一个新的日期数据类型。 DateTime支持日期从1753年1月1日到9999年12月31日，时间部分的精确度
2015-12-19 14:58:23
1185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人