走向程序的康庄大道

Hadoop 3.0.0 公测版已经发布，提供了节省存储空间的策略、内置均衡DataNode 磁盘数据等功能，主要新增功能如下： Minimum required Java version increased from Java 7 to Java 8需要的最小 Java 版本从 Java 7 升级到 Java 8。所有的 Hadoop JARs 都使用 Java 8 进行编译，仍然...

前提已经安装好了Cloudera Manager和CDH5.10.0Kerberos server已经部署好了（服务搭建过程见 Kerberos服务部署），在CDH节点已经安装了kerberos client。CDH添加Kerberos服务过程创建Cloudera Manager Principal在KDC server主机上，创建一个名为cloudera-scm的principal，并将其密码设...

通过keytab的方式访问HDFSConfiguration config = new Configuration(); FileSystem hdfs = null; try { if (isKerberosEnable){ System.setProperty("java.security.krb5.con...

使用hadoop distcp实现不同hadoop集群之间的文件迁移#] hadoop distcpusage: distcp OPTIONS [source_path...] <target_path>使用示例：hadoop distcp hdfs://172.30.6.25:8020/lts/oozie/spark/DELTA_TRANSFORMER_BJ hdf...

Spark on yarn环境：基于CDH的大数据组件平台。yarn服务有resource manager和node manager组成，在yarn上运行的任务，由一个ApplicationMaster和多个container组成。Spark 运行由一个driver和多个executor组成，Spark on Yarn时，Spark的driver和executor分别运行在yarn的c...

做个中文版下载源：http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126做个原版地址链接：http://labs.google.com/papers/gfs.htmlhttp://labs.google.com/papers/bigtable.htmlhttp://labs.google.com/p...

基本文件命令：格式为：hadoop fs -cmd <args>1. -ls  path列出path目录下的内容，包括文件名，权限，所有者，大小和修改时间。2. -lsr  path与ls相似，但递归地显示子目录下的内容。3. -du path显示path下所有文件磁盘使用情况下，用字节大小表示，文件名用完整的HDFS协议前缀表示。4. -dus path...

 Parquet、Avro、ORC格式相同点基于Hadoop文件系统优化出的存储结构 提供高效的压缩 二进制存储格式 文件可分割，具有很强的伸缩性和并行处理能力 使用schema进行自我描述 属于线上格式，可以在Hadoop节点之间传递数据 不同点行式存储or列式存储：Parquet和ORC都以列的形式存储数据，而Avro以基于行的格式存储数据。 就其本质而言，...