Python多线程异步任务队列（实例）

当前位置:

首页 > 编程开发 > 数据分析 >

Python多线程异步任务队列（实例）

很多场景为了不阻塞，都需要异步回调机制。这是一个简单的例子。

python的多线程异步常用到queue和threading模块

						#!/usr/bin/env python

						# -*- coding: UTF-8 -*-

						import logging

						import queue

						import threading

						def func_a(a, b):

						    return a+ b

						def func_b():

						    pass

						def func_c(a, b, c):

						    return a, b, c

						# 异步任务队列

						_task_queue= queue.Queue()

						def async_call(function, callback,*args,**kwargs):

						    _task_queue.put({

						        'function': function,

						        'callback': callback,

						        'args': args,

						        'kwargs': kwargs

						    })

						def _task_queue_consumer():

						    """

						    异步任务队列消费者

						    """

						    while True:

						        try:

						            task= _task_queue.get()

						            function= task.get('function')

						            callback= task.get('callback')

						            args= task.get('args')

						            kwargs= task.get('kwargs')

						            try:

						                if callback:

						                    callback(function(*args,**kwargs))

						            except Exception as ex:

						                if callback:

						                    callback(ex)

						            finally:

						                _task_queue.task_done()

						        except Exception as ex:

						            logging.warning(ex)

						def handle_result(result):

						    print(type(result), result)

						if __name__== '__main__':

						    t= threading.Thread(target=_task_queue_consumer)

						    t.daemon= True

						    t.start()

						    async_call(func_a, handle_result,1,2)

						    async_call(func_b, handle_result)

						    async_call(func_c, handle_result,1,2,3)

						    async_call(func_c, handle_result,1,2,3,4)

						    _task_queue.join()

栏目列表