用C++11的多线程读文件

最新推荐文章于 2025-06-08 09:08:31 发布

执假以为真

最新推荐文章于 2025-06-08 09:08:31 发布

阅读量1.3w

点赞数 7

CC 4.0 BY-SA版权

分类专栏： # C++11多线程文章标签：多线程 C++11

本文链接：https://blog.youkuaiyun.com/nirendao/article/details/88096195

C++11多线程专栏收录该内容

16 篇文章

订阅专栏

本文探讨了在不使用锁的情况下，多个线程并行读取大文件的可能性及其正确性。通过实例演示了如何利用不同线程读取文件的不同部分，验证了这种做法的可行性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

曾经写了一篇博客做一些大数据的处理，但是其中在读取一个大文件的时候，并没有采取并行处理的方式。那么，一个大文件，为了能够批量处理，现在由多个线程来同时读它，各自读取一块（所读内容互不相同）。这么做会有问题吗？
答：如果只有读线程，那么没有问题。因为，不同的线程可以创建自己的文件描述符表项，再分别指向不同的文件表项，而每个文件表项里面可以有不同的当前文件偏移量，所以没有问题。而且这种情况也根本不需要用到锁。

以下是一个实际的例子。
首先，假设当前目录有一个文件1.txt（注意：必须是UNIX格式而非DOS格式），其内容如下：

处理代码如下：

    #include <thread>
    #include <iostream>
    #include <fstream>
    #include <string>
    #include <sstream>
    #include <vector>
    #include <chrono>
    using namespace std;


    void thread_read_file(int tid, const string& file_path)
    {
        ifstream file(file_path.c_str(), ios::in);
        if (!file.good()) {
            stringstream ss;
            ss << "Thread " << tid << " failed to open file: " << file_path << "\n";
            cout << ss.str();
            return;
        }
        
        int pos; 
        if (tid == 0) pos = 0;
        else pos = tid*10; 
        
        file.seekg(pos, ios::beg);
        string line;
        getline(file, line);
        stringstream ss;
        ss << "Thread " << tid << ", pos=" << pos << ": " << line << "\n";
        cout << ss.str();
    }

    void test_detach(const string& file_path)
    {
        for (int i=0; i<10; ++i) {
            std::thread  th(thread_read_file, i, file_path);
            th.detach(); 
        }
    }

    void test_join(const string& file_path)
    {
        vector<std::thread> vec_threads;
        for (int i=0; i<10; ++i) {
            std::thread  th(thread_read_file, i, file_path);
            vec_threads.emplace_back(std::move(th));  // push_back() is also OK
        }
        
        auto it = vec_threads.begin();
        for (; it != vec_threads.end(); ++it) {
            (*it).join();
        }
    }


    int main()
    {
        string file_path = "./1.txt";
        test_detach(file_path);
        std::this_thread::sleep_for(std::chrono::seconds(1));  // wait for detached threads done
        test_join(file_path);
        return 0;
    }