Go 字符串在文件读写中的应用与优化_go 读取文件为字符串-优快云博客

package main

import (
    "fmt"
    "io/ioutil"
)

func main() {
    data, err := ioutil.ReadFile("test.txt")
    if err != nil {
        fmt.Println("读取文件错误:", err)
        return
    }
    content := string(data)
    fmt.Println(content)
}

这种方式简单直接，适用于读取较小文件。它会将整个文件内容读入内存，若文件过大，可能导致内存占用过高。

（二）逐行读取文件

对于大文件，逐行读取是更优选择，可避免一次性加载整个文件到内存。使用bufio.Scanner实现逐行读取：

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    file, err := os.Open("test.txt")
    if err != nil {
        fmt.Println("打开文件错误:", err)
        return
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := scanner.Text()
        fmt.Println(line)
    }

    if err := scanner.Err(); err != nil {
        fmt.Println("读取文件错误:", err)
    }
}

bufio.Scanner会自动处理换行符，按行读取文件内容，将每行内容作为一个字符串返回，大大减少内存占用。

二、将字符串写入文件

（一）使用`ioutil.WriteFile`

ioutil.WriteFile可将字符串写入文件。若文件不存在，会创建新文件；若文件存在，会覆盖原有内容。示例如下：

package main

import (
    "fmt"
    "io/ioutil"
)

func main() {
    content := "这是要写入文件的字符串"
    err := ioutil.WriteFile("output.txt", []byte(content), 0644)
    if err != nil {
        fmt.Println("写入文件错误:", err)
        return
    }
    fmt.Println("写入成功")
}

需注意，该函数接收字节切片作为写入内容，所以要将字符串转换为字节切片。

（二）使用`bufio.Writer`逐行写入

若要逐行写入字符串，可使用bufio.Writer，它会在内存中缓存数据，减少磁盘 I/O 操作次数，提升写入效率。示例如下：

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    file, err := os.OpenFile("output.txt", os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644)
    if err != nil {
        fmt.Println("打开文件错误:", err)
        return
    }
    defer file.Close()

    writer := bufio.NewWriter(file)
    lines := []string{"第一行内容", "第二行内容", "第三行内容"}
    for _, line := range lines {
        _, err := writer.WriteString(line + "\n")
        if err != nil {
            fmt.Println("写入文件错误:", err)
            return
        }
    }
    writer.Flush()
    fmt.Println("写入成功")
}

writer.Flush()方法用于将缓存中的数据真正写入文件。

三、优化策略

（一）减少 I/O 操作次数

如上述逐行读取和写入示例，使用bufio包的缓冲机制可减少磁盘 I/O 操作次数。缓冲技术在内存中开辟一定空间，批量处理数据，减少频繁读写磁盘的开销。

（二）合理设置缓冲区大小

bufio包默认缓冲区大小为 4096 字节，可根据实际情况调整。处理大文件时，适当增大缓冲区大小能进一步提升性能，但过大的缓冲区会占用过多内存。例如，创建bufio.Scanner时可指定缓冲区大小：

scanner := bufio.NewScanner(file).Buffer(make([]byte, 8192), 8192)

（三）并发读写控制

在并发环境下进行文件读写，需注意同步问题。可使用sync.Mutex或sync.RWMutex来保证同一时间只有一个协程进行写入操作，多个协程可同时进行读取操作。示例如下：

package main

import (
    "fmt"
    "io/ioutil"
    "sync"
)

var mu sync.RWMutex

func readFile() {
    mu.RLock()
    defer mu.RUnlock()

    data, err := ioutil.ReadFile("test.txt")
    if err != nil {
        fmt.Println("读取文件错误:", err)
        return
    }
    fmt.Println(string(data))
}

func writeFile() {
    mu.Lock()
    defer mu.Unlock()

    content := "新写入的内容"
    err := ioutil.WriteFile("test.txt", []byte(content), 0644)
    if err != nil {
        fmt.Println("写入文件错误:", err)
        return
    }
    fmt.Println("写入成功")
}