如何在Golang中处理多文件并发读写_Golang多文件并发读写方法汇总

func readFilesConcurrently(filenames []string) {
    var wg sync.WaitGroup
    for _, filename := range filenames {
        wg.Add(1)
        go func(file string) {
            defer wg.Done()
            data, err := os.ReadFile(file)
            if err != nil {
                log.Printf("读取文件失败 %s: %v", file, err)
                return
            }
            // 处理数据
            fmt.Printf("文件 %s 读取成功，长度: %d\n", file, len(data))
        }(filename)
    }
    wg.Wait()
}

func limitedConcurrentRead(filenames []string, maxConcurrency int) {
    semaphore := make(chan struct{}, maxConcurrency)
    var wg sync.WaitGroup
<pre class='brush:php;toolbar:false;'>for _, filename := range filenames {
    wg.Add(1)
    go func(file string) {
        defer wg.Done()
        semaphore <- struct{}{} // 获取令牌
        defer func() { <-semaphore }() // 释放令牌

        data, err := os.ReadFile(file)
        if err != nil {
            log.Printf("读取失败 %s: %v", file, err)
            return
        }
        fmt.Printf("处理完成: %s\n", file)
        // 模拟耗时操作
        time.Sleep(100 * time.Millisecond)
    }(filename)
}
wg.Wait()

}

func writeToFile(filename, content string) error {
    file, err := os.Create(filename)
    if err != nil {
        return err
    }
    defer file.Close()
<pre class='brush:php;toolbar:false;'>_, err = file.WriteString(content)
return err

}

// 并发调用 for i := 0; i go func(id int) { defer wg.Done() err := writeToFile(fmt.Sprintf("output_%d.txt", id), fmt.Sprintf("Hello from %d", id)) if err != nil { log.Printf("写入失败: %v", err) } }(i) } wg.Wait()

import "golang.org/x/sync/errgroup"
<p>func processWithErrGroup(filenames []string) error {
var g errgroup.Group
for _, file := range filenames {
file := file // 避免变量捕获问题
g.Go(func() error {
data, err := os.ReadFile(file)
if err != nil {
return fmt.Errorf("读取 %s 失败: %w", file, err)
}
// 处理逻辑...
fmt.Printf("已处理: %s\n", file)
return nil
})
}
return g.Wait() // 等待所有任务，返回首个非nil错误
}</p>