Golang WorkerPool线程池并发

时间:2022-09-28 龚国玮人气:0

正文

Worker Pools 线程池是一种并发模式。该模式中维护了固定数量的多个工作器，这些工作器等待着管理者分配可并发执行的任务。该模式避免了短时间任务创建和销毁线程的代价。

在 golang 中，我们使用 goroutine 和 channel 来构建这种模式。工作器 worker 由一个 goroutine 定义，该 goroutine 通过 channel 获取数据。

处理CVS文件记录

接下来让我们通过一个例子，来进一步理解该模式。假设您需要处理来自 CVS 文件的记录数据，我们需要将该文件中的经纬度保存到数据库中。代码如下。

package main
import (
	"encoding/csv"
	"fmt"
	"os"
	"time"
)
type city struct {
	name     string
	location string
}
func createCity(record city) {
	time.Sleep(10 * time.Millisecond)
}
func main() {
	startTime := time.Now()
	csvFile, err := os.Open("cities.csv")
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println("Successfully Opened CSV file")
	defer csvFile.Close()
	csvLines, err := csv.NewReader(csvFile).ReadAll()
	if err != nil {
		fmt.Println(err)
	}
	counter := 0
	for _, line := range csvLines {
		counter++
		createCity(city{
			name:     line[0],
			location: line[1],
		})
	}
	fmt.Println("records saved:", counter)
	fmt.Println("total time:", time.Since(startTime))
}

加载全部内容