Linux系统超线程感知的调度算法研究

ZDNet软件频道 时间:2008-07-01 作者:李亮 吴庆波 | 赛迪网 我要评论()
本文关键词:命令行 Linux 技巧
随着计算机应用的日益普及,用户对计算机的处理能力的需求也在成指数级增长。为了满足用户的需求,处理器生产厂商也采用了诸如超流水,分支预测,超标量,缓存等技术提高处理器的性能。

(1)共享运行队列

在SMP (Symmetrical Multi-Processing,对称多处理)环境中,O(1)调度器为每个CPU分配了一个运行队列,避免了多CPU共用一个运行队列带来的资源竞争。Linux会将超线程CPU中的两个逻辑CPU视为SMP的两个独立CPU,各维持一个运行队列,但是这两个逻辑CPU共享cache等资源,没有体现超线程CPU的特性,因此引入了共享运行队列的概念。HT-aware scheduler patch在运行队列struct runqueue结构中增加了nr_cpu和cpu两个属性,nr_cpu记录物理CPU中的逻辑CPU的数目,cpu则指向同属CPU(同一个物理 CPU上的另一个逻辑CPU)的运行队列。

Linux中通过调用sched_map_runqueue( )函数实现两个逻辑CPU的运行队列的合并,sched_map_runqueue( )首先会查询系统的CPU队列,通过phys_proc_id(记录逻辑CPU所属的物理CPU的ID)判断当前CPU的同属逻辑CPU,如果找到同属逻辑CPU,则将当前CPU运行队列的cpu属性指向同属逻辑 CPU的运行队列。

(2)支持“被动的”负载均衡

用中断驱动的均衡操作必须针对各个物理 CPU,而不是各个逻辑 CPU。否则可能会发生:一个物理 CPU 运行两个任务,而另一个物理 CPU 不运行任务;现有的调度程序不会将这种情形认为是“失衡的”。在调度程序看来,似乎是第一个物理处理器上的两个 CPU 运行 1-1 任务,而第二个物理处理器上的两个 CPU 运行 0-0 任务。

在2.6.0之前,Linux只有通过load_balance( )函数进行CPU之间负载均衡,当某个CPU负载过轻而另一个CPU负载较重时,系统会调用load_balance( )函数从重载CPU上迁移线程到负载较轻的CPU上,只有系统最繁忙的CPU的负载超过当前CPU负载的 25% 时才进行负载平衡。找到最繁忙的CPU(源CPU)之后,确定需要迁移的线程数为源CPU负载与本CPU负载之差的一半,然后按照从 expired 队列到 active 队列、从低优先级线程到高优先级线程的顺序进行迁移。

在超线程系统中进行负载均衡时,如果也是将逻辑CPU等同于SMP环境中的单个CPU进行调度,这样可能会出现将线程迁移到同一个物理CPU的两个逻辑CPU上,从而导致物理CPU的负载过重。

2.6.0之后Linux开始支持NUMA(Non-Uniform Memory Access Architecture)体系结构。进行负载均衡时除了考虑单个CPU的负载 ,还考虑了 NUMA 下各个节点的负载情况。

Linux的超线程调度借鉴NUMA的算法,将物理CPU当作NUMA中的一个节点,并且将物理CPU中的逻辑CPU映射到该节点,通过运行队列中的node_nr_running属性记录当前物理CPU的负载情况。

Linux实现了balance_node( )函数进行物理CPU之间的负载均衡。物理CPU间的负载平衡作为 rebalance_tick() 函数中的一部分在 load_balance( ) 之前启动,避免出现一个物理CPU 运行 1-1 任务,而第二个物理处理器上的运行 0-0 任务情况。balance_node( ) 先调用 find_busiest_node( ) 找到系统中最繁忙的节点,然后在该节点和当前 CPU 组成的 CPU集合中进行 load_balance( ),把最繁忙的物理CPU中的线程迁移到当前CPU上。然后rebalance_tick( )函数再调用load_balance(工作集为当前的物理CPU中的所有逻辑CPU)进行一次逻辑CPU之间的负载均衡。

(3)支持“主动的”负载均衡

当一个逻辑 CPU 变成空闲,可能造成一个物理 CPU 的负载失衡。例如:系统中有两个物理CPU,一个物理CPU上运行一个任务并且刚刚结束,另一个物理CPU上正在运行两个任务,此时出现了一个物理CPU空闲而另一个物理CPU忙的现象。

Linux中通过active_load_balance( )函数进行主动的负载均衡,active_load_balance( )函数用于在所有的逻辑CPU中查询该CPU的忙闲情况,如果发现由于超线程引起的负载不平衡(一个物理CPU的两个逻辑CPU都空闲,另一个物理CPU 的两个逻辑CPU都在运行两个线程),则唤醒一个需要迁移的线程,将它从一个忙的物理CPU迁移到一个空闲的物理CPU上。


百度大联盟认证黄金会员Copyright© 1997- CNET Networks 版权所有。 ZDNet 是CNET Networks公司注册服务商标。
中华人民共和国电信与信息服务业务经营许可证编号:京ICP证010391号 京ICP备09041801号-159
京公网安备:1101082134