做警员编号网站,微网站微名片,青岐网站建设平台,网站管理制度建设的必要性大家好#xff01;我是爱摸鱼的小鸿#xff0c;关注我#xff0c;收看每期的编程干货。 一个简单的库#xff0c;也许能够开启我们的智慧之门#xff0c; 一个普通的方法#xff0c;也许能在危急时刻挽救我们于水深火热#xff0c; 一个新颖的思维方式#xff0c;也许能… 大家好我是爱摸鱼的小鸿关注我收看每期的编程干货。 一个简单的库也许能够开启我们的智慧之门 一个普通的方法也许能在危急时刻挽救我们于水深火热 一个新颖的思维方式也许能激发我们无尽的创造力 一个独特的技巧也许能成为我们的隐形盾牌…… 神奇的 Python 库之旅第 9 章 目录 一、什么是 Celery二、为什么选择 Celery三、Celery 编程示例四、总结五、作者Info 一、什么是 Celery
Celery 是一个强大的工具它能够帮助我们管理和调度复杂的任务。无论是处理异步任务、计划任务还是分布式任务Celery 都能轻松胜任。在这篇文章中我们将深入探讨 Celery 的魅力通过多个代码示例带你全面了解这个神器。 Celery 是一个简单、灵活且可靠的分布式系统用于处理大量消息并提供了维护这些任务的工具。它的使用场景非常广泛比如电子邮件发送、视频处理、数据分析、Web 爬虫等。 Github 项目地址 https://github.com/celery/celery …
二、为什么选择 Celery
选择 Celery 的理由有很多这里列出几个主要的优势
异步任务处理能让你在不阻塞主进程的情况下处理任务定时任务支持类似 cron 的定时任务调度分布式执行支持将任务分发到多个机器上执行提升系统性能高可用性可以与消息队列如 RabbitMQ, Redis结合实现高可用性和可靠性。 在开始之前我们需要安装 Celery 和一个消息代理这里我们选择 Redis
pip install celery redis…
三、Celery 编程示例
快速开始一个简单的任务 让我们从一个简单的例子开始创建一个任务来演示 Celery 的基本用法。
# tasks.py
from celery import Celery# 创建 Celery 实例
app Celery(tasks, brokerredis://localhost:6379/0)app.task
def add(x, y):return x y在这个例子中我们定义了一个名为 add 的任务它接收两个参数并返回它们的和。接下来我们可以启动一个 Celery worker 来处理这个任务
celery -A tasks worker --loglevelinfo启动 Celery worker 后我们可以在 Python 交互式环境中调用这个任务 from tasks import addresult add.delay(4, 6)result.get(timeout10)
10深入挖掘任务链和组 Celery 的强大之处在于它能够处理复杂的工作流比如任务链和任务组。 任务链 任务链允许我们将多个任务串联起来前一个任务的输出作为下一个任务的输入
from celery import chain# 定义任务
app.task
def multiply(x, y):return x * yapp.task
def add_and_multiply(x, y, z):return chain(add.s(x, y), multiply.s(z))()# 调用任务链
result add_and_multiply(2, 3, 4)
print(result.get()) # 输出 20因为 (2 3) * 4 20任务组 任务组允许我们并行执行一组任务并在所有任务完成后获得结果
from celery import group# 定义任务组
app.task
def sum_list(numbers):return sum(numbers)app.task
def process_groups():return group(sum_list.s([1, 2, 3]), sum_list.s([4, 5, 6]), sum_list.s([7, 8, 9]))().get()# 调用任务组
result process_groups()
print(result) # 输出 [6, 15, 24]… 定时任务 Celery 还支持定时任务这类似于 Unix 系统的 cron 作业
from celery import Celery
from celery.schedules import crontabapp Celery(periodic_tasks, brokerredis://localhost:6379/0)app.task
def scheduled_task():print(This task runs every 10 seconds)app.conf.beat_schedule {run-every-10-seconds: {task: periodic_tasks.scheduled_task,schedule: 10.0,},
}# 启动 Celery beat 进程
celery -A periodic_tasks beat --loglevelinfo… 错误处理与重试机制 在实际应用中任务失败是不可避免的。Celery 提供了优雅的错误处理和重试机制
app.task(bindTrue, max_retries3)
def unreliable_task(self):try:# 可能失败的操作risky_operation()except Exception as exc:# 捕获异常并重试raise self.retry(excexc, countdown60)在这个例子中unreliable_task 如果失败会在 60 秒后重试总共重试 3 次。 使用 Celery 在 Web 应用 Celery 常用于 Web 应用中来处理后台任务。下面是一个简单的 Flask 应用展示了如何集成 Celery
from flask import Flask, request, jsonify
from celery import Celeryapp Flask(__name__)
app.config[CELERY_BROKER_URL] redis://localhost:6379/0
app.config[CELERY_RESULT_BACKEND] redis://localhost:6379/0def make_celery(app):celery Celery(app.import_name, brokerapp.config[CELERY_BROKER_URL])celery.conf.update(app.config)class ContextTask(celery.Task):def __call__(self, *args, **kwargs):with app.app_context():return self.run(*args, **kwargs)celery.Task ContextTaskreturn celerycelery make_celery(app)celery.task
def long_task():import timetime.sleep(10)return Task completed!app.route(/start-task, methods[POST])
def start_task():task long_task.apply_async()return jsonify({}), 202, {Location: url_for(get_status, task_idtask.id)}app.route(/status/task_id)
def get_status(task_id):task long_task.AsyncResult(task_id)response {state: task.state,result: task.result,}return jsonify(response)if __name__ __main__:app.run(debugTrue)在这个示例中我们定义了一个 Flask 应用并将 Celery 集成到其中。long_task 是一个模拟长时间运行的任务客户端可以通过 start-task 路由启动任务并通过 status/task_id 路由查询任务状态。 更多功能、详细用法可参考官方文档 https://docs.celeryq.dev/en/stable …
四、总结
Celery 是一个强大的工具它为我们处理异步任务、计划任务和分布式任务提供了极大的便利。在这篇文章中我们通过多个代码示例展示了 Celery 的基本用法、任务链和组、定时任务、错误处理和重试机制以及如何在 Web 应用中集成 Celery。 如果你在日常工作中需要处理复杂的任务调度和分布式任务那么 Celery 绝对是一个值得深入学习和使用的工具。希望这篇文章能够帮助你更好地理解和使用 Celery让你的工作更加高效、顺畅。 试一试吧Celery 会让你的任务调度变得简单又高效 …
五、作者Info Author小鸿的摸鱼日常 Goal让编程更有趣 专注于 Web 开发、爬虫游戏开发数据分析、自然语言处理AI 等期待你的关注让我们一起成长、一起Coding 版权说明本文禁止抄袭、转载侵权必究
