django中使用Celery 布式任务队列过程详解

本文记录django中如何使用celery完成异步任务。

Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具。

它是一个专注于实时处理的任务队列，同时也支持任务调度。

官方网站

中文文档

示例一：用户发起request，并等待response返回。在本些views中，可能需要执行一段耗时的程序，那么用户就会等待很长时间，造成不好的用户体验

示例二：网站每小时需要同步一次天气预报信息，但是http是请求触发的，难道要一小时请求一次吗？

使用celery后，情况就不一样了

示例一的解决：将耗时的程序放到celery中执行

示例二的解决：使用celery定时执行

名词

任务task：就是一个Python函数

队列queue：将需要执行的任务加入到队列中

工人worker：在一个新进程中，负责执行队列中的任务

代理人broker：负责调度，在布置环境中使用redis

本示例在ubuntu系统中，使用django1.8.2，并且要安装redis

1，首先需要安装扩展包。

pip install celery==3.1.25
pip install celery-with-redis==3.0
pip install django-celery==3.1.17

2，配置项目setting.py

加入以下代码：

import djcelery
djcelery.setup_loader()
BROKER_URL = 'redis://127.0.0.1:6379/0'
CELERY_IMPORTS = ('bookstory.task')

CELERY_IMPORTS值是异步任务函数所在的位置，比如这个是bookstory应用里面的task.py文件里,如图：

并且将'djcelery'加入到setting.py的INSTALLED_APPS里面。

3，编写需要异步执行（或者耗时）的功能函数

编写task.py文件，假设我就这样模拟耗时操作

# coding=utf-8

import time
from celery import task


@task
def showa():
  # 任务函数
  print('hello....')
  time.sleep(5)
  print('world....')

4，迁移，生成celery需要的数据表

python manage.py migrate

5，启动worker

python manage.py celery worker --loglevel=info

6，使用

新建一个视图函数，并且分配一个url

from task import *

.........

# celery异步
def showTest(request):
  showa.delay()
  return HttpResponse('哈哈哈')

调用语法就是：

function.delay(parameters)

function就是task里写的函数，parameters就是这个函数要传递的参数，我的showa没有传参数，所以就直接showa.delay()就可以调用了。

运行结果就是在浏览器中并没有等待5秒，而是直接输出'哈哈'了。并没有因为耗时的操作二延迟。在启动worker的窗口里面可以看到hello,world间隔5秒分别输出了出来：

按照步骤来，其实并不难，具体异步（耗时）操作根据具体业务在task里面具体编写就ok了。