c++ 操作HDFS

Hello-BigData

于 2017-07-12 19:17:27 发布

阅读量8k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/hanlaipeng11/article/details/75040123

本文介绍了如何使用C++的libhdfs库进行HDFS文件的读写操作。通过连接HDFS、打开文件及写入/读取数据的步骤，详细讲解了libhdfs的API使用，并提醒在编译运行时注意配置JAVA_HOME和Hadoop相关环境变量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果由于业务需求无法用python、java以及命令行来操作HDFS，需要用c++的话，不用着急，libhdfs将是为你带来方便。Libhdfs是专门为c以及c++开发者提供的操作HDFS的API库，下面就是两个demo的介绍：

向HDFS的文件中写数据
从HDFS的文件中读数据

向HDFS的文件中写数据

代码如下：

#ifndef WRITE_H
#define WRITE_H
 
#include <iostream>
#include "hdfs.h"
#include <stdlib.h>
#include <string.h>
 
using namespace std;
 
class WriteData{
public:
    WriteData(){
    }
    virtual ~WriteData(){
    }
 
    void writeData(char* writepath, char* data){
        //连接HDFS
        hdfsFS fs = hdfsConnect("default", 8080);
        if (!fs){
            cout <<"cannot connect to HDFS"<<endl;
            exit(1);
        }
        cout <<"connect success!" <<endl;
        //检查写入的文件是否存在
        int a = hdfsExists(fs,writepath);
        cout <<a<<endl;
        hdfsFile writeFile;