一种简单的用户态Python多任务(线程)方案


在Python界,我们常常使用多进程来实现并行加速。在各进程内部,再采用多 线程方案进行io调度,但这通常有一些问题,我们这里以传统的CPython实现为 准,该实现直接采用来操作系统原生线程实现多线程,这有一些问题,首先, 操作系统线程并不是免费的,它有自己的栈、内核数据结构,并且(通常)是基 本调度单元,这会带来一些并不算不重要的overhead,我们在这种场景下使用 多线程的目的本质上就是进行io调度,那么大部分的抢占对我们是没有意义的; 第二,Python实现中,每个线程执行一定条数的字节码后主动让出时间片,这 种调度时机并不是我们想要的。对于特定的应用,这可以用IO多路复用来解决, IO多路复用就是一个IO调度器,但是,这种方式不能提供一种透明的抽象,进 行IO的控制流必须显式得处理回调、事件等等,另外,我们能够同时进行的控 制流(任务)受到了不必要的限制——它本质上应该受限于我们处理IO的能力。

4.1 对控制流的抽象

我们用一个"闭包中的callable对象"来表达控制流中的某一状态,我们可以 得到这个对象,就得到了当前控制流,通过对该对象的调用恢复执行控制流。 大体上是这样:

def task(arg):
    def task_child(a):
        return some_func(arg, a)
    return task_child

对于一般的控制流的抽象,我们应该了解continuation,参考:

http://en.wikipedia.org/wiki/Continuation

4.2 设计

4.2.1 task

我们把满足下属条件的Python对象叫做task:

  1. 可以以某种确定的方式被调用,有0到多个入参
  2. 对该task的调用,应该返回
    1. Complete,结果
    2. Failed
    3. 一个list,该list由形如(head,tail1,tail2…)的元素组成,我们 把这种元素叫做task元祖

我们把满足下述条件的tuple叫做task元祖: 形如:(head, tail1, tail2…)

  1. head为一个task,且接受该tuple长度减1个参数
  2. tail1、tail2应该是:
    1. 一个Python对象
    2. 一个task元祖
  • IO task

    一个拥有触发条件的task叫做IO task.IO task只在满足触发条件的情况下 才会被调度。

4.3  实现

调度器维护一个task元组的队列,根据特定的调度策略选择task执行,执行的 结果将被投入该队列。IO task在满足触发条件的时候被调度,一种典型的IO task:

def recvsegment(s, length):
    rcv = s.recv(10000000)
    if len(rcv) == length:
        return rcv
    return lambda:rcv + recvsegment(s, length-len(rcv))

我们在每次调度的时候,会检查与一个IO task联系的标识符(文件描述符)是 否准备好,如果准备好,就执行该IO task.对于task元组中参数被求值完毕 (所有的tail都为一个值)的情况,我们会以这些参数为入参,执行head。在 这种设计下,任何IO操作应该和主控制流分离,以(head, io1,io2…)的方 式进行。

事实上,task的执行载体可以是原生线程,这样,就实现了M:N的并发模型, 对于特殊的情况(IO完成却没有机会被调度倒的task),还可以动态增减线程 进行处理。

在特定的假设下,这套多任务方案有一定的意义。这个假设就是:1.IO占据了 控制流的大部分时间。2.任何一种非IO操作都可以很快完成。因此,在特殊 的时机交出控制权,而不是抢占调度,是可以接受的。事实上,现实世界有 很多系统满足这样的要求。

Author: qingant <qingant@gmail.com>

Date: 2011-06-12 Sun

HTML generated by org-mode 6.33x in emacs 23

posted on 2011-08-02 04:32 qingant 阅读(2498) 评论(2)  编辑 收藏 引用

评论

# re: 一种简单的用户态Python多任务(线程)方案 2011-08-02 10:02 phus

https://groups.google.com/group/python-cn/browse_thread/thread/c3c2a216ca6da6d1  回复  更多评论   

# re: 一种简单的用户态Python多任务(线程)方案 2011-08-02 16:12 乐购网

来学习一下,对于菜鸟的我还是挺有技术含量的。  回复  更多评论   


只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理


导航

<2011年8月>
31123456
78910111213
14151617181920
21222324252627
28293031123
45678910

统计

常用链接

留言簿(3)

随笔档案

相册

最新随笔

搜索

最新随笔

最新评论

阅读排行榜

评论排行榜