生成者消费者模式
-
解释
-
什么是生产者和消费者?
两个模块(可能是函数、线程或进程),一个生产数据,一个消费数据,生产数据的模块叫生产者,消费数据的模块叫消费者。
-
为什么要使用生产者-消费者模式?
在多线程开发时,生产者可能产生数据的速度比较快,这时候生产者需要等消费者消费完了才能继续生产数据,因为生产的数据没地方放,如果消费者消费数据的速度比较快,消费者就要等待生产者生产数据,为了解决这种供需不平衡的问题,以达到生产者和消费者之间的一种“平衡”状态,引入“生产者-消费者“模式
-
什么是生产者消费者模式?
一个生产者(线程或进程)生产数据,一个消费者(线程或进程)消费数据,它们之间通过一个缓冲区来进行通讯,生产者生产的数据放入缓冲区,消费者从缓冲区取来数据进行消费。
-
生产者消费者模式有什么优点?
- 解耦:将生产者类和消费者类进行解耦,消除代码之间的依赖性,简化工作负载的管理
- 复用:通过将生产者类和消费者类独立开来,那么可以对生产者类和消费者类进行独立的复用与扩展
- 调整并发数:由于生产者和消费者的处理速度是不一样的,可以调整并发数,给予慢的一方多的并发数,来提高任务的处理速度
- 异步:对于生产者和消费者来说能够各司其职,生产者只需要关心缓冲区是否还有数据,不需要等待消费者处理完;同样的对于消费者来说,也只需要关注缓冲区的内容,不需要关注生产者,通过异步的方式支持高并发,将一个耗时的流程拆成生产和消费两个阶段,这样生产者因为执行put()的时间比较短,而支持高并发
- 支持分布式:生产者和消费者通过队列进行通讯,所以不需要运行在同一台机器上,在分布式环境中可以通过
redis
的list作为队列,而消费者只需要轮询队列中是否有数据。同时还能支持集群的伸缩性,当某台机器宕掉的时候,不会导致整个集群宕掉
-
-
生产者消费者例子
-
e.g.
5个厨师做包子,三秒一个,10个食客吃包子,1秒一个,食客吃的又快人又多
import queue import threading import time q = queue.Queue() def cook(i): while True: q.put(f\'厨师{i}做de包子\') time.sleep(2) def hangers_on(j): while True: print(f\'食客{j}吃了{q.get()}\') time.sleep(1) for i in range(5): threading.Thread(target=cook,args=(i,)).start() for j in range(10): threading.Thread(target=hangers_on,args=(j,)).start()
-
来源:https://www.cnblogs.com/jianhui-zhou/p/16379993.html
本站部分图文来源于网络,如有侵权请联系删除。