Golang robfig/cron 实现解析

时间:2020-02-22 jiangz222 人气:0

robfig/cron是GO语言中一个定时执行注册任务的package, 最近我在工程中使用到了它，由于它的实现优雅且简单(主要是简单)，所以将源码过了一遍，记录和分享在此。

文档：http://godoc.org/github.com/robfig/cron，repo: https://github.com/robfig/cron

基本玩法

Demo代码如下，先用cron.New()初始化一个实例，然后调用AddFunc(spec string, cmd func()) 注册你希望调用的func，第一个参数为调度的时间策略，第二个参数为到时间后执行的方法。robfig/cron支持非常多样的时间策略(下面的代码举了一些例子)，最后通过cron.Start()方法启动。

func TestCronDemo(t *testing.T) {
  c := cron.New()
  // 通过AddFunc注册
  c.AddFunc("30 * * * *", func() { fmt.Println("Every hour on the half hour") })
  c.AddFunc("30 3-6,20-23 * * *", func() { fmt.Println(".. in the range 3-6am, 8-11pm") })
  c.AddFunc("CRON_TZ=Asia/Tokyo 30 04 * * *", func() { fmt.Println("Runs at 04:30 Tokyo time every day") })
  c.AddFunc("@every 5m", func() { fmt.Println("every 5m, start 5m fron now") })
  // 通过AddJob注册
  // var cJob cronJobDemo
  //  c.AddJob("@every 5s", cJob)
  // 启动
  c.Start()
  // 停止
  c.Stop()
}

type cronJobDemo int

func (c cronJobDemo) Run() {
  fmt.Println("5s func trigger")
  return
}

 上面代码中，第9、10行的代码调用方法AddJob(spec string, cmd Job)也可以实现AddFunc注册的功能，Job是interface，需要入参类型实现方法：Run()。实际上，方法AddFunc内部将参数cmd 进行了包装(wrapper)，然后也是调用方法AddJob进行注册。

如果实际工程中定时执行的逻辑较为复杂，推荐使用方法AddJob()来注册，自己写方法Run()，这样可以通过Run所属的类型来传递所需数据，后面介绍都会说成AddJob，等效于AddFunc。

AddJob后发生了什么? (主要的数据结构)

对于Cron的整体逻辑，最关键的两个数据结构就是struct Entry和Cron。

　　每当你用AddJob注册一个定时调用策略，就会为这个策略生成一个唯一的Entry，不难想象，Entry里会存储被执行的时间、需要被调度执行的实体Job。

生成entry后，再将entry放到struct Cron的entry列表里，Cron的结构里，主要是一些用来和外部交互的channel，比如通过channel添加、删除entry等。详见下面的代码。

// Entry 数据结构，每一个被调度实体一个
type Entry struct {
  // 唯一id，用于查询和删除
  ID EntryID
  // 本Entry的调度时间，不是绝对时间，在生成entry时会计算出来
  Schedule Schedule
  // 本entry下次需要执行的绝对时间，会一直被更新
  // 被封装的含义是Job可以多层嵌套，可以实现基于需要执行Job的额外处理
  // 比如抓取Job异常、如果Job没有返回下一个时间点的Job是还是继续执行还是delay
  Next time.Time
  // 上一次被执行时间，主要用来查询
  Prev time.Time
  // WrappedJob 是真实执行的Job实体
  WrappedJob Job
  // Job 主要给用户查询
  Job Job
}
// Cron 数据结构，为robfig/cron的运行实体使用的s数据结构
type Cron struct {
  entries   []*Entry          // 调度执行实体列表
   // chain 用来定义entry里的warppedJob使用什么逻辑（e.g. skipIfLastRunning）
   // 即一个cron里所有entry只有一个封装逻辑
  chain     Chain            
  stop      chan struct{}     // 停止整个cron的channel
  add       chan *Entry       // 增加一个entry的channel
  remove    chan EntryID      // 移除一个entry的channel
  snapshot  chan chan []Entry // 获取entry整体快照的channel
  running   bool              // 代表是否已经在执行，是cron为使用者提供的动态修改entry的接口准备的
  logger    Logger            // 封装golang的log包
  runningMu sync.Mutex        // 用来修改运行中的cron数据，比如增加entry，移除entry
  location  *time.Location    // 地理位置
  parser    ScheduleParser    // 对时间格式的解析，为interface, 可以定制自己的时间规则。
  nextID    EntryID           // entry的全局ID，新增一个entry就加1
  jobWaiter sync.WaitGroup    // run job时会进行add(1)， job 结束会done()，stop整个cron，以此保证所有job都能退出
}

 需要注意的是，WrappedJob和chain这两个成员，这是Cron实现的Job封装逻辑，目前是解决实际调度Job的异常处理。比如你希望自己的上一个时间点的JobA没有结束，下一个时间点的JobA就不执行，这个“不执行”的逻辑实现就定义在chain，初始化时通过chain将JobA进行封装写入WrappedJob，那么每次JobA调用前会先执行封装逻辑，进行判断。

Start后发生了什么? (程序的主体)

cron.Start()执行后，cron的后台程序（方法run()）就开始运行了。而它的主体，就是一个定时器的实现和到时后的job运行，加上cron里的数据维护。

cron的定时器实现是一个简洁而典型的业务层实现，着重了解下，具体的流程图可见下图。

它的关键和值得学习之处是：

- 每个entry都包含自己下一次执行的绝对时间
- 先对entries按下次执行时间升序排序，只需要对第一个entry启动定时器
- 定时器到时，只轮询entries里需要执行的entries，不需要全部轮询。
- 且执行的是当前时间之前的所有job，容错高；
- 第一个定时器处理结束开启下次定时器时，也只需要更新执行过的entries的下次执行时间，不需要更新所有的entries

上面的逻辑说完，程序主体已经清晰，除此之外，程序主体里的定时器监听和其他多个channel共用了select-case，这些channel在struct Cron里能看到，实现了entries的动态添加、删除、entries快照获取等功能。代码结构如下：

将这些操作通过channel让程序主体来操作，可以有效的减少互斥锁的使用，也会引入问题，会导致有的job执行时间不是非常精准，导致某些entry被遗漏但是，：

- 比如最近的jobA的timer在1ms后就要到时，此时加入一个entry，耗时3ms
- 添加完entry后，再重新启动timer(还是jobA的timer，此处还利用了golang的time.NewTimer(d Duration)的入参为负数会立即到时的特点)
- 下次到时的时间必然不是jobA期待的执行时间（理论上晚了2ms）

当然，channel的操作首先是非常简洁省时的，其次，定时器实现里，会扫描所有当前时间之前的entries来执行，增加了容错性

值得称赞的细节

interface的使用

struct Entry里的Schedule和Cron里的ScheduleParser都是interface，意味着我们是可以自己定制注册job时的时间策略的格式的，只要自己实现时间策略的解析和获取方法就好

这让我想起了以前看过golang里什么时候用interface和struct的讨论，我觉得这是个很好的例子：预期对同一个接口有多个实现时就抽象成interface，不知道该不该用就用struct。
wrapper的实现

上面有提到，通过对Job的封装，cron实现了同一个job多次调用时的异常处理等，值得以后在实践中借鉴。

最后是我加了一点注释的代码，https://github.com/jiangz222/cron/tree/comments-v3

加载全部内容