1. 简介
github仓库地址:https://github.com/panjf2000/ants
文档地址:https://pkg.go.dev/github.com/panjf2000/ants/v2
ants 是一个高性能且低损耗的 goroutine 池,实现了对大规模 goroutine 的调度管理、goroutine 复用,允许使用者在开发并发程序的时候限制 goroutine 数量,复用资源,达到更高效执行任务的效果。
功能特性:
- 自动调度海量的 goroutines,复用 goroutines
- 定期清理过期的 goroutines,进一步节省资源
- 提供了大量有用的接口:任务提交、获取运行中的 goroutine 数量、动态调整 Pool 大小、释放 Pool、重启 Pool
- 优雅处理 panic,防止程序崩溃
- 资源复用,极大节省内存使用量;在大规模批量并发任务场景下比原生 goroutine 并发具有更高的性能
- 非阻塞机制
写 go 并发程序的时候如果程序会启动大量的 goroutine,势必会消耗大量的系统资源(内存,CPU),通过使用 ants,可以实例化一个 goroutine 池,复用 goroutine,节省资源,提升性能。
但 ants 并不保证提交的任务被执行的顺序,执行的顺序也不是和提交的顺序保持一致,因为在 ants 是并发地处理所有提交的任务,提交的任务会被分派到正在并发运行的 workers 上去,因此那些任务将会被并发且无序地被执行。
以下是原作者对于原生 goroutine 和 ants 进行的吞吐量和内存消耗的 benchmark 测试。使用 ants 在吞吐性能上相较于原生 goroutine 有 2-6 倍的性能优势,而内存消耗则有 10-20 倍的节省优势。
2. 使用
2.1 安装
使用 go get 将 ants 包下载到 GOPATH 指定的目录下。
go get -u github.com/panjf2000/ants/v2
2.3 常用方法
这里介绍了协程池最基本常用的创建、提交任务、释放等方法。
// 创建一个协程池,指定容量大小
p, _ := ants.NewPool(10000)
// 提交任务
ants.Submit(func(){})
// 动态调整协程池容量
pool.Tune(1000)
// 释放协程池
pool.Release()
// 重启协程池
pool.Reboot()
2.2 代码示例:使用 Submit 函数提交任务
使用示例如下,引用自官方仓库 README 文件的使用示例。
创建一个协程池,且设置协程池的容量为0,表示不限制容量。将任务函数 demoFunc 通过 Submit 方法进行任务提交,连续提交1000次任务,然后用 WaitGroup 等待所有任务提交。
import (
"fmt"
"sync"
"time"
"github.com/panjf2000/ants/v2"
)
func demoFunc() {
time.Sleep(10 * time.Millisecond)
fmt.Println("Hello World!")
}
func main() {
runTimes := 1000
var wg sync.WaitGroup
syncCalculateSum := func() {
demoFunc()
wg.Done()
}
p, _ := ants.NewPool(0)
defer p.Release()
for i := 0; i < runTimes; i++ {
wg.Add(1)
_ = p.Submit(syncCalculateSum)
}
wg.Wait()
fmt.Printf("running goroutines: %d\n", p.Running())
fmt.Printf("finish all tasks.\n")
}
执行结果如下,由于任务函数中将会睡眠10毫秒,因此等到所有任务提交且 WaitGroup 结束阻塞等待后,调用 ants.Running() 查看仍在执行的协程数量将会是1000,这些协程还在睡眠等待而未返回销毁协程。
...
Hello World!
Hello World!
Hello World!
Hello World!
running goroutines: 1000
finish all tasks.
2.3 代码示例:创建指定任务函数的协程池
创建一个协程池并指定任务函数,且设置协程池的容量为10。每次循环调用 Invoke 方法获取一个 worker,并用传入的参数作为执行任务的参数。
import (
"fmt"
"sync"
"sync/atomic"
"github.com/panjf2000/ants/v2"
)
var sum int32
func myFunc(i interface{}) {
n := i.(int32)
atomic.AddInt32(&sum, n)
fmt.Printf("run with %d\n", n)
}
func main() {
runTimes := 1000
var wg sync.WaitGroup
p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
myFunc(i)
wg.Done()
})
defer p.Release()
for i := 0; i < runTimes; i++ {
wg.Add(1)
_ = p.Invoke(int32(i))
}
wg.Wait()
fmt.Printf("running goroutines: %d\n", p.Running())
fmt.Printf("finish all tasks, result is %d\n", sum)
}
执行结果如下,可以看到由于协程池大小小于任务数量,每次取一个可用的 worker 来执行,每次执行程序的任务顺序将不确定,且同一时间限制了最多只会有10个协程在工作。这个示例程序是计算从0加到1000的总和,因此多次执行的结果之和是确定的。
run with 4
run with 0
run with 6
run with 7
...
run with 977
run with 980
run with 979
run with 981
running goroutines: 10
finish all tasks, result is 499500
2.4 代码示例:创建 MultiPool
创建 MultiPool 来执行任务,MultiPool 内部包含一个协程池数组,定义一个策略算法来从这些协程池中获取 worker,目前支持的算法有RoundRobin算法(轮询)和最少任务算法。
MultiPool 同样既可以通过 Submit 方法调用指定任务函数,也可以在创建的时候指定任务函数,通过 Invoke 方法来调用。
import (
"fmt"
"sync"
"time"
"github.com/panjf2000/ants/v2"
)
func demoFunc() {
time.Sleep(10 * time.Millisecond)
fmt.Println("Hello World!")
}
func main() {
runTimes := 1000
var wg sync.WaitGroup
syncCalculateSum := func() {
demoFunc()
wg.Done()
}
mp, _ := ants.NewMultiPool(10, -1, ants.RoundRobin)
defer mp.ReleaseTimeout(5 * time.Second)
for i := 0; i < runTimes; i++ {
wg.Add(1)
_ = mp.Submit(syncCalculateSum)
}
wg.Wait()
fmt.Printf("running goroutines: %d\n", mp.Running())
fmt.Printf("finish all tasks.\n")
}
2.5 默认协程池
为了方便使用,很多 Go 库都喜欢提供其核心功能类型的一个默认实现。可以直接通过库提供的接口调用,如 net/http 和 ants。
ants 定义了一个默认的协程池,默认容量为 MaxInt32,上面代码示例都是创建一个协程池并调用其方法,对于默认协程池可以直接调用 ants 的同名函数。
默认协程池也需要调用 Release 函数。
import (
"fmt"
"sync"
"time"
"github.com/panjf2000/ants/v2"
)
func demoFunc() {
fmt.Println("Hello World!")
}
func main() {
defer ants.Release()
runTimes := 1000
var wg sync.WaitGroup
syncCalculateSum := func() {
demoFunc()
wg.Done()
}
for i := 0; i < runTimes; i++ {
wg.Add(1)
_ = ants.Submit(syncCalculateSum)
}
wg.Wait()
}
2.6 配置选项
ants 支持在 NewPool、NewPoolWithFunc 创建协程池时设置配置选项,定制化协程池。
如下示例在创建协程池时,调用了 ants.WithPanicHandler 函数和 ants.WithExpiryDuration 函数,分别指定了发生 panic 时的处理函数和设定每个 worker 的超时时间。
import (
"fmt"
"os"
"sync"
"sync/atomic"
"time"
"github.com/panjf2000/ants/v2"
)
var sum int32
func myFunc(i interface{}) {
n := i.(int32)
atomic.AddInt32(&sum, n)
fmt.Printf("run with %d\n", n)
}
func panicHandler(err interface{}) {
fmt.Fprintln(os.Stderr, err)
}
func main() {
defer ants.Release()
runTimes := 1000
var wg sync.WaitGroup
p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
myFunc(i)
wg.Done()
}, ants.WithPanicHandler(panicHandler), ants.WithExpiryDuration(time.Second))
defer p.Release()
for i := 0; i < runTimes; i++ {
wg.Add(1)
_ = p.Invoke(int32(i))
}
wg.Wait()
fmt.Printf("running goroutines: %d\n", p.Running())
fmt.Printf("finish all tasks, result is %d\n", sum)
}
ants 提供的所有选项如下,以下是 Options 结构体的定义。
type Options struct {
ExpiryDuration time.Duration
PreAlloc bool
MaxBlockingTasks int
Nonblocking bool
PanicHandler func(interface{})
Logger Logger
}
各个选项的含义如下:
- ExpiryDuration:过期时间,表示 goroutine 空闲多长时间后会被 ants 回收。
- PreAlloc:预分配,创建协程池后预分配 worker 切片。
- MaxBlockingTasks:最大阻塞任务数量,当协程池中 goroutine 数量已经达到池容量,且都处于繁忙状态,新来的任务将会阻塞等待,这个选项设置了等待任务的最大数量,超过后的新的任务将失败返回而不是阻塞。0 表示不限制阻塞队伍数量。
- Nonblocking:协程池是否阻塞,默认是阻塞。设置为非阻塞时,新任务提交时无可用 goroutine 将直接返回失败。
- PanicHandler:panic 处理,设置 goroutine 在 panic 时的处理函数。
- Logger:指定日志记录器。
ants 定义了一些名称为 With 开头的函数来设置这些选项:
func WithOptions(options Options) Option {}
func WithExpiryDuration(expiryDuration time.Duration) Option {}
func WithPreAlloc(preAlloc bool) Option {}
func WithMaxBlockingTasks(maxBlockingTasks int) Option {}
func WithNonblocking(nonblocking bool) Option {}
func WithPanicHandler(panicHandler func(interface{})) Option {}
func WithLogger(logger Logger) Option {}
3. 源码分析
ants主要的结构体与函数调用流程图如下:
3.1 常量与默认协程池
ants 在 ants.go 中定义了一些常量、一些异常全局变量、一个默认的协程池,以及对默认协程池的操作函数。
const (
// DefaultAntsPoolSize is the default capacity for a default goroutine pool.
DefaultAntsPoolSize = math.MaxInt32
// DefaultCleanIntervalTime is the interval time to clean up goroutines.
DefaultCleanIntervalTime = time.Second
)
const (
// OPENED represents that the pool is opened.
OPENED = iota
// CLOSED represents that the pool is closed.
CLOSED
)
var (
// Init an instance pool when importing ants.
defaultAntsPool, _ = NewPool(DefaultAntsPoolSize)
)
3.2 Pool
通过上面的代码示例,可以知道 ants 创建协程池有 ants.NewPool 和 ants.NewPoolWithFunc 两种,它们分别为提交任务时传递执行的函数,以及预先指定执行函数。它们对应的的结构体分别为 Pool 和 PoolWithFunc,下面我们先来介绍 Pool,后面再和 PoolWithFunc 做比较。
该文件定义了结构体 Pool,用来表示一个协程池,它可以接收多个任务并并发地执行它们,同时在一个可重复使用的协程池中限制执行的协程数量。
type Pool struct {
capacity int32
running int32
lock sync.Locker
workers workerQueue
state int32
cond *sync.Cond
workerCache sync.Pool
waiting int32
options *Options
purgeDone int32
stopPurge context.CancelFunc
ticktockDone int32
stopTicktock context.CancelFunc
now atomic.Value
}
各个字段含义如下:
- capacity:池容量,表示该协程池最多能创建的 goroutine 数量。如果为负数,则表示容量无限制。
- running:正在执行的 goroutine 的数量。
- lock:锁,用于保护 worker 队列。ants 自己实现了一个自旋锁,用于同步并发操作。
- workers:存放一组 worker 对象的容器,可能是栈或循环队列。
- state:记录协程池当前的状态是否已关闭。
- cond:条件变量,处理任务等待和唤醒。
- workerCache:使用 sync.Pool 对象池管理和创建 worker 对象。
- waiting:执行 Submit 阻塞的协程数量。
- options:协程池配置变量结构体。
- purgeDone:清除过期 worker 的终结标记。
- ticktockDone:定时更新协程池当前时间的终结标记。
- now:协程池当前时间。
ants 的每个任务都是由 worker 对象来处理的,每个 worker 对象会创建一个对应的 goroutine 来处理任务,对应的结构体为 goWorker。
函数 NewPool 用来创建一个 Pool 对象,以下省略了一些处理代码。初始化 Pool 对象,设置容量,设置配置选项,创建一个自旋锁来初始化 lock 字段,设置了 workerCache 新建 worker 对象的方法,使用 p.lock 锁创建一个条件变量 p.cond。
func NewPool(size int, options ...Option) (*Pool, error) {
if size <= 0 {
size = -1
}
opts := loadOptions(options...)
p := &Pool{
capacity: int32(size), // 设置容量
lock: syncx.NewSpinLock(), // 创建一个自旋锁来初始化 lock 字段
options: opts, // 设置配置选项
}
p.workerCache.New = func() interface{} { // 设置了 workerCache 新建 worker 对象的方法
return &goWorker{
pool: p,
task: make(chan func(), workerChanCap),
}
}
if p.options.PreAlloc { // 初始化worker数组
if size == -1 {
return nil, ErrInvalidPreAllocSize
}
p.workers = newWorkerQueue(queueTypeLoopQueue, size)
} else {
p.workers = newWorkerQueue(queueTypeStack, 0)
}
p.cond = sync.NewCond(p.lock) // 使用 p.lock 锁创建一个条件变量 p.cond
p.goPurge() // 启动一个协程定期清理过期worker
p.goTicktock() // 启动一个协程定期更新协程池的当前时间
return p, nil
}
3.3 worker
Pool.workers 字段是 workerQueue 接口类型,表示一个 worker 容器。
type workerQueue interface {
len() int
isEmpty() bool
insert(worker) error
detach() worker
refresh(duration time.Duration) []worker
reset()
}
每个方法的含义:
- len:worker 数量。
- isEmpty:worker 数量是否为0。
- insert:goroutine 任务执行结束后将 worker 插入。
- detach:取出一个 worker。
- refresh:清除过期 worker 并返回它们。
- reset:重置容器。
workerQueue 有两种实现,分别为 workerStack 和 loopQueue,具体使用哪个实现根据创建 Pool 时的选项 PreAlloc 决定,设置了 PreAlloc 则使用 loopQueue 实现,否则使用 workerStack 实现。
func newWorkerQueue(qType queueType, size int) workerQueue {
switch qType {
case queueTypeStack:
return newWorkerStack(size)
case queueTypeLoopQueue:
return newWorkerLoopQueue(size)
default:
return newWorkerStack(size)
}
}
3.3.1 workerStack
workerStack 实现基于栈,定义如下。栈结构满足后进先出的特点,因此插入的元素将追加至切片尾部,取出元素从切片尾部取。
type workerStack struct {
items []worker // 空闲worker
expiry []worker // 过期worker
}
func newWorkerStack(size int) *workerStack {
return &workerStack{
items: make([]worker, 0, size),
}
}
goroutine 完成任务之后,协程池会调用 insert 方法,将相应的 worker 放回。
func (wq *workerStack) insert(w worker) error {
wq.items = append(wq.items, w) // 将元素追加至切片尾部
return nil
}
新任务到来时,会调用 detach 方法从 workerStack 取出一个空闲的 worker。
func (wq *workerStack) detach() worker {
l := wq.len()
if l == 0 {
return nil
}
w := wq.items[l-1] // 从切片尾部取出元素
wq.items[l-1] = nil // avoid memory leaks
wq.items = wq.items[:l-1]
return w
}
定时清除过期的 worker,由于栈后进先出的特性,早过期的 worker 将排在数组的前面。
func (wq *workerStack) refresh(duration time.Duration) []worker {
n := wq.len()
if n == 0 {
return nil
}
expiryTime := time.Now().Add(-duration)
index := wq.binarySearch(0, n-1, expiryTime) // 二分法搜索空闲worker,找到过期worker界限对应的下标
wq.expiry = wq.expiry[:0]
if index != -1 {
wq.expiry = append(wq.expiry, wq.items[:index+1]...) // 将index前面的空闲worker追加至过期worker
m := copy(wq.items, wq.items[index+1:]) // 空闲worker保留index后面的,内存复制
for i := m; i < n; i++ { // 清空后面的脏数据
wq.items[i] = nil
}
wq.items = wq.items[:m]
}
return wq.expiry
}
3.3.2 loopQueue
loopQueue 实现基于循环队列,定义如下。循环队列包含一个长度为 size 的切片,head 表示队列头指针,tail 表示队列尾指针,也就是最后一个元素的下一位,isFull 表示队列是否已满,当 head 和 tail 指向同一位置时用于区分队列是空还是满。
type loopQueue struct {
items []worker
expiry []worker
head int
tail int
size int
isFull bool
}
func newWorkerLoopQueue(size int) *loopQueue {
return &loopQueue{
items: make([]worker, size),
size: size,
}
}
当创建完成后,开始状态如下,head 和 tail 指向同一个位置。
添加元素时,tail 指针往后移一位。取出元素时,head 指针往后移一位。
head 指针或 tail 指针到切片尾部需要回绕回来,此时 head 下标大于 tail。
当 tail 指针赶上 head 指针,则表示队列已经满了。
而当 head 指针赶上 tail 指针时,则表示队列空了。这两种情况用 isFull 来区分。
下面我们来看下源码的实现。
goroutine 完成任务之后,协程池会调用 insert 方法,将相应的 worker 放回循环队列。
func (wq *loopQueue) insert(w worker) error {
if wq.size == 0 {
return errQueueIsReleased
}
if wq.isFull {
return errQueueIsFull
}
wq.items[wq.tail] = w // 将元素插入队尾
wq.tail = (wq.tail + 1) % wq.size // tail 往后移动一位,如果到达切片尾部则绕回首位
if wq.tail == wq.head { // 判断是否已满
wq.isFull = true
}
return nil
}
新任务到来时,会调用 detach 方法从循环队列取出一个空闲的 worker。
func (wq *loopQueue) detach() worker {
if wq.isEmpty() {
return nil
}
w := wq.items[wq.head] // 取出队首元素
wq.items[wq.head] = nil
wq.head = (wq.head + 1) % wq.size // head 往后移动一位,如果到达切片尾部则绕回首位
wq.isFull = false
return w
}
定时清除过期的 worker,由于队列先进先出的特性,早过期的 worker 将排在队列的前面。
func (wq *loopQueue) refresh(duration time.Duration) []worker {
expiryTime := time.Now().Add(-duration)
index := wq.binarySearch(expiryTime) // 二分法搜索空闲worker,找到过期worker界限对应的下标
if index == -1 {
return nil
}
wq.expiry = wq.expiry[:0]
if wq.head <= index {
wq.expiry = append(wq.expiry, wq.items[wq.head:index+1]...) // 将head到index之间的空闲worker追加至过期worker
for i := wq.head; i < index+1; i++ {
wq.items[i] = nil
}
} else {
wq.expiry = append(wq.expiry, wq.items[0:index+1]...) // 将index到切片末尾的空闲worker追加至过期worker
wq.expiry = append(wq.expiry, wq.items[wq.head:]...) // 将0到head的空闲worker追加至过期worker
for i := 0; i < index+1; i++ {
wq.items[i] = nil
}
for i := wq.head; i < wq.size; i++ {
wq.items[i] = nil
}
}
head := (index + 1) % wq.size // 重新调整head位置
wq.head = head
if len(wq.expiry) > 0 {
wq.isFull = false
}
return wq.expiry
}
3.3.3 goWorker
Pool 的 worker 使用结构体 goWorker 表示。
type goWorker struct {
pool *Pool // 所属协程池的引用
task chan func() // 任务通道,通过这个通道将类型为func()的函数作为任务发送给goWorker
lastUsed time.Time // 记录goWorker被放回协程池的时间
}
run 方法启动一个协程,用来执行指定的函数。从task通道中不断地接收任务,获取函数变量后直接执行,然后将goWorker对象放回协程池。这个 for 循环将一直从task通道接收任务,直至通道关闭或取出nil任务才会终止,期间协程将一直保持运行。也就是说,每个 goWorker 只会启动一次协程,后续可以重复利用这个协程,这就是 ants 高性能的关键所在。
goWorker 每次执行一个任务,然后就会放回协程池。
func (w *goWorker) run() {
w.pool.addRunning(1)
go func() {
defer func() {
w.pool.addRunning(-1)
w.pool.workerCache.Put(w) // 将goWorker对象放回sync.Pool池
if p := recover(); p != nil {
// ...
}
w.pool.cond.Signal() // 通知已有空闲goWorker
}()
for f := range w.task { // 从task通道接收任务
if f == nil {
return
}
f() // 执行函数
if ok := w.pool.revertWorker(w); !ok { // 将goWorker对象放回协程池
return
}
}
}()
}
3.4 提交任务
当我们创建了一个协程池,我们可以调用 Submit 方法来提交任务。
func (p *Pool) Submit(task func()) error {
if p.IsClosed() {
return ErrPoolClosed
}
w, err := p.retrieveWorker() // 获取一个空闲的worker
if w != nil {
w.inputFunc(task) // 将任务函数发送到worker的任务通道
}
return err
}
retrieveWorker 方法用于获取一个可用的 worker。
首先尝试从 workers 中获取一个可用的 worker,成功则返回 worker 进行任务处理。否则,判断是否还没用完,即正在运行的 worker 数量小于协程池容量,从 workerCache 中新建一个 goWorker,并执行其 run 方法。如果协程池容量已经用完,则判断是否是非阻塞模式,或阻塞模式但阻塞任务数量大于设置的值,是则返回 nil,表示无法获取到 worker。最后进入阻塞等待,直至可用的worker放回池中,重新循环尝试获取一个可用的 worker。
func (p *Pool) retrieveWorker() (w worker, err error) {
p.lock.Lock()
retry:
if w = p.workers.detach(); w != nil { // 尝试从workers中获取一个可用的worker
p.lock.Unlock()
return
}
if capacity := p.Cap(); capacity == -1 || capacity > p.Running() { // 如果正在运行的worker数量小于协程池容量
p.lock.Unlock()
w = p.workerCache.Get().(*goWorker) // 从sync.Pool对象池获取新的worker
w.run()
return
}
if p.options.Nonblocking || (p.options.MaxBlockingTasks != 0 && p.Waiting() >= p.options.MaxBlockingTasks) { // 如果是非阻塞模式,或阻塞模式但阻塞任务数量大于设置的值,直接返回nil
p.lock.Unlock()
return nil, ErrPoolOverload
}
p.addWaiting(1)
p.cond.Wait() // 阻塞等待,直至可用的worker放回池中
p.addWaiting(-1)
if p.IsClosed() {
p.lock.Unlock()
return nil, ErrPoolClosed
}
goto retry
}
流程图如下:
3.5 定期清理过期worker
在 NewPool 函数中的最后会启动一个协程定期清理过期worker。
go p.purgeStaleWorkers(ctx)
这个方法首先会启动一个定时器,时间间隔为配置的 ExpiryDuration,如果没有配置该选项,则采用默认值 1s。
定时清除过期 worker 并返回它们,然后对这些过期 worker 依次向task通道发送nil值,让worker返回。
当判断到所有worker都被清理了,需要进行一次广播,唤醒阻塞等待worker的任务。
func (p *Pool) purgeStaleWorkers(ctx context.Context) {
ticker := time.NewTicker(p.options.ExpiryDuration) // 定时器
defer func() {
ticker.Stop()
atomic.StoreInt32(&p.purgeDone, 1)
}()
for {
select {
case <-ctx.Done():
return
case <-ticker.C:
}
if p.IsClosed() {
break
}
var isDormant bool
p.lock.Lock()
staleWorkers := p.workers.refresh(p.options.ExpiryDuration) // 清除过期 worker 并返回它们
n := p.Running()
isDormant = n == 0 || n == len(staleWorkers)
p.lock.Unlock()
for i := range staleWorkers {
staleWorkers[i].finish() // 向task通道发送nil值,让worker返回
staleWorkers[i] = nil
}
if isDormant && p.Waiting() > 0 { // 当所有worker都被清理了,需要广播唤醒阻塞等待worker的任务
p.cond.Broadcast()
}
}
}
3.6 PoolWithFunc
上面提到过,协程池分为创建后通过 Submit 提交任务函数的 Pool,以及创建时指定任务函数的 PoolWithFunc。PoolWithFunc 对应的 worker 结构体为 goWorkerWithFunc。以下是它们的结构体:
type PoolWithFunc struct {
workers workerQueue // 使用goWorkerWithFunc实现
poolFunc func(interface{}) // 保存执行函数
// 其他字段和Pool相同
}
type goWorkerWithFunc struct {
pool *PoolWithFunc
args chan interface{}
lastUsed time.Time
}
PoolWithFunc 和 Pool 的区别在于保存了传入的函数对象,而 goWorkerWithFunc 以 interface{} 表示参数作为通道类型,而非函数作为通道类型。
3.8 自旋锁
自旋锁是 Linux 内核中一种较为常见的锁机制,一般的锁在加锁失败时会休眠等待,以让出CPU处理其它事情,而自旋锁则是会忙等待,避免加锁和解锁导致的线程切换,对于很快就能获得锁的场景可以提升性能。
ants 采用 atomic.CompareAndSwapUint32() 这个原子操作实现了一个自旋锁。这里使用了指数退避,先等1个循环周期,通过 runtime.Gosched() 让运行时切换其它协程运行。如果还是获取不到锁,再等2、4、8、16个周期。防止短时间内获取不到锁导致CPU时间浪费。
type spinLock uint32
const maxBackoff = 16
func (sl *spinLock) Lock() {
backoff := 1
for !atomic.CompareAndSwapUint32((*uint32)(sl), 0, 1) {
// Leverage the exponential backoff algorithm, see https://en.wikipedia.org/wiki/Exponential_backoff.
for i := 0; i < backoff; i++ {
runtime.Gosched()
}
if backoff < maxBackoff {
backoff <<= 1
}
}
}
func (sl *spinLock) Unlock() {
atomic.StoreUint32((*uint32)(sl), 0)
}
// NewSpinLock instantiates a spin-lock.
func NewSpinLock() sync.Locker {
return new(spinLock)
}