Go语言怎么合并两个csv，思路及代码是什么

背景

通常我们处理文件都是用python+pandas，确实很香。但是今天突然有人找我用go写一个合并两个csv文件的，需要将两个csv按id进行合并，大致如下图

思路很简单，先读入两个csv文件，然后遍历比较id，如果相同就把另一个文件的内容加到第一个中。然后创建merge.csv，将上一步得到的数据写入csv即可。

代码部分

package main

import (
 "encoding/csv"
 "log"
 "os"

 "fmt"
)

func join(fileName1 string, fileName2 string) (row [][]string) {

 fs1, _ := os.Open(fileName1)
 r1 := csv.NewReader(fs1)
 content1, err := r1.ReadAll()
 if err != nil {

  log.Fatalf("can not readall, err is %+v", err)
 }


 fs2, _ := os.Open(fileName2)
 r2 := csv.NewReader(fs2)
 content2, err := r2.ReadAll()
 if err != nil {

  log.Fatalf("can not readall, err is %+v", err)
 }

 row = make([][]string, len(content1[1:]))

 for i, row1 := range content1[1:] {

  for _, row2 := range content2[1:] {

   if row1[0] == row2[0] {

    row[i] = append(row[i], row1[0], row1[1], row1[2], row2[1], row2[2])
   }

  }

 }

 return
}


func edit(filename string, row [][]string) {

 f, err := os.Create(filename)
 if err != nil {

  panic(err)
 }

 defer f.Close()

 //防止乱码
 f.WriteString("\xEF\xBB\xBF")
 w := csv.NewWriter(f)
 w.Write([]string{
"ID", "name", "gender", "course", "score"}
)
 w.WriteAll(row)
 w.Flush()
}


func main() {

 row := join("1.csv", "2.csv")
 fmt.Println(row)
 edit("join.csv", row)
 fmt.Println("合并已完成！")
}
    

优化

对于小数据量这样是没有问题，但是一旦数据量增大，不仅读取的内存占用增加，而且遍历比较会很消耗时间。所以优化的话我们可以以行读取，并且想办法使用go的goroutine来增加速度。唉，太久没怎么写go了，一开始切片都有点忘了。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！