当前位置: 查字典范文网 >> 公文写作 >> 企划文案 >> 高效分配网格资源设计方案

高效分配网格资源设计方案

格式:DOC 上传日期:2022-11-20
高效分配网格资源设计方案
时间:2022-11-20     小编:
摘要:介绍了基于集群技术的作业管理系统PBS,重点研究了PBS系统的体系结构、工作原理。着重从系统各进程的运行机制、安全策略、调度策略和通信策略等方面进行阐述。并分析讨论了PBS与网格计算环境的融合,最后给出实现方案。

关键词:网格资源,安全策略

1引言

网格是一个集成的计算与资源环境,充分吸收各种计算资源,并将它们转化成一种随处可得的、可靠的、标准的同时还是经济的计算能力。与传统的网络资源不同,网格资源具有异构性、动态性和自治性的特点1。

网格资源的这些特性给网格资源自身的管理带来了实现上的困难和不可控性。同时为了满足高性能计算的目的,必须提供高效的资源管理服务。网格系统的资源管理负责决定作业请求CPU服务等待时间、作业的内存分配、以及怎样平衡计算负载等多方面的问题。资源管理同时负责在所有提交给系统的作业之间分配资源(作业间资源管理)以及把资源绑定给由一个单一作业提出的多个请求(作业内资源管理)。如果没有作业间资源管理,资源将可能在用户间错误的分配,这对一些用户将失去公平性。糟糕的作业内资源管理将导致用户程序运行性能的下降,原因是程序请求到的资源可能早已超负荷或者根本就请求不到满足系统要求的资源。

由于存在的以上问题,网格资源的管理在网格计算环境中处于一个很重要的地位,也是网格研究的主要研究课题之一。目前我们对于网格计算环境底层的资源,主要是通过采用作业管理系统进行管理。

2PBS作业管理系统分析

PBS(PortableBatchSystem)作业管理系统最初由NASA的Ames研究中心开发,为了提供一个能满足异构计算网络需要的软件包,特别是满足高性能计算的需要。它力求提供对批处理的初始化和调度执行的控制,允许作业在不同主机间的路由。PBS的独立的调度模块允许系统管理员定义资源和每个作业可使用的数量。调度模块存有各个可用的排队作业、运行作业和系统资源使用状况信息。使用它提供的TCL、BACL、C三种过程语言,调度策略可以很容易被修改,以适应不同的计算需要和目标,即系统管理员可以方便地实现自己的调度策略。

对于PBS作业管理系统来说,它主要有以下特征:

·易用性:为所有的资源提供统一的接口,易于配置以满足不同系统的需求,灵活的作业调度器允许不同系统采用自己的调度策略。·适配性:可以适配各种管理策略,并提供可扩展的认证和安全模型。支持广域网上的负载的动态分发和建立在多个物理位置不同的实体上的虚拟组织。

·灵活性:支持交互和批处理作业。

一个PBS作业管理系统主要有4个部分组成:控制台、服务进程、调度进程、执行进程。

PBS的工作过程实际上就是服务进程、调度进程、执行进程这三个进程之间,相互通信相互调用的过程。三个进程分别执行各自的职能,同时为其他进程提供服务,共同完成作业的运行。在PBS工作过程中,首先由用户产生事件(这里指作业的提交),事件通知服务进程开始一个调度周期。然后服务器进程发送一个调度命令给作业调度进程,调度进程开始启动调度工作。在收到服务器进程的调度命令后,作业调度进程向执行进程请求可利用的资源信息。执行进程根据本地资源信息返回给作业调度器一个资源信息。其后,得到资源信息后,调度进程向服务器进程请求作业信息。服务器进程接收请求,并发送作业信息至作业调度进程,调度进程产生执行作业的策略。作业调度器发送执行作业请求至服务进程。最后,服务器进程接收请求后,发送作业至执行进程执行作业。

3PBS与网格环境结合

网格计算环境为用户提供了强大的计算资源,将PBS融入到网格的计算环境中可以使PBS访问到更多的计算资源,使PBS的资源提供能力得到很大的增强,使用户可以调用不同的管理域的资源如同使用本地资源一样。同时PBS融入到网格计算环境也扩展了网格计算环境自身的计算资源。下面以PBS与目前全球重要的网格计算项目Globus之间的结合,介绍它们之间资源调度、数据传输、安全认证等方面的解决方案。

Globus项目是美国Argonne国家实验室等科研单位的研发项目,发起于20世纪90年代中期。Globus项目是目前全球重要的网格计算项目之一,其最初的目的是希望把美国境内的各个高性能计算中心通过高性能网络连接起来,方便美国的大学和研究机构使用,提高高性能计算机的使用效率。

PBS与Globus的结合,主要目的是可以达到彼此计算资源的相互调用,PBS对Globus资源调用的实现,可以为用户提供访问网格计算资源建立一个门户。用户通过提交作业,可以像调用PBS资源一样调用远端的不同管理域下的资源。Globus则负责提供与底层不同资源管理者的接口,以及相应的数据传输、安全认证、资源调度等策略。Globus对PBS资源调用的实现,则扩展了网格计算环境下底层的计算资源2。通过结合,目的是实现网格计算环境的基本模型。

当PBS调用Globus资源时,首先需要解决的是资源的发现,PBS要对Globus资源进行调度使用,那么在提交的作业当中必须对作业的可用资源说明进行描述,使其可以寻找到Globus的资源,并加以利用。为了达到资源指定的目的,在作业资源需求描述中我们加入特定的参数“-Lsite=globus:resourcename”。这个参数仅仅是标记了作业对资源需求的期望,并未分配Globus资源。其次需要提供一个资源请求信息的接收端口,申请得到Globus资源的作业会像正常的PBS提交作业一样,将自己的资源请求发送到PBS服务器上等待服务进程的处理,之后调度进程会根据作业的资源请求将作业传送到与它资源匹配的执行节点,并由各节点的执行进程运行。为了提供一个专门的接收Globus资源请求的端口,在启动服务进程的同时要启动一个pbs_mom_globus

进程。当调度器发现了作业特定的Globus资源请求,直接将作业发送到pbs_mom_globus进程进行处理。为了可以利用Globus资源,PBS作业必须以Globus作业的形式进入到Globus进行资源的利用,通过pbs_mom_globus进程将作业中PBS的参数全部映射成GlobusRSL的形式3。

在整个资源调度的过程中,PBS实际充当了网格计算环境的入口点,通过提交PBS作业可以实现对网格计算资源的调用,用户可以像使用本地资源一样去使用远端不同资源管理者下的资源。而Globus作为一种中间件,由它来负责规划网络间通信的安全协议,并实现对不同的远端资源管理者的通信接口。此外,PBS通过文件stagein和stageout配合Globus的GASS服务来进行数据的传输,可以解决PBS与Globus数据传输的问题。全局二级存储服务GASS(GlobalAccesstoSecondaryStorage)主要用来支持网格环境下的远程I/O问题,并针对网格计算环境中的文件访问模式进行了优化支持。

当Globus调用PBS资源时,相对PBS对Globus资源的调用要简单一些。Gloubs在本地提交Globus作业时,通过在命令行参数中添加PBS服务器的名称及路径来指定需要调用的PBS资源,并在命令结尾添加jobmanager-PBS参数开启Gloubsy与PBS之间的端口。Globus提交作业的请求被送到GRAM,Gatekeeper判断作业需要调用的资源,并根据RSL描述解析出的任务分配参数传递给新创建的任务管理者。任务管理者接到需要调用PBS资源的请求,则将作业资源信息的描述发送到jobmanager-PBS端口,jobmanager-PBS端口会产生一个新的用PBS脚本语言描述资源信息的作业脚本。任务管理者将这个脚本发往PBS服务器进行执行。

4PBS系统测试与分析

硬件环境的配置方面,首先要选择一组适合实验过程的主机搭建实验环境。出于对实验稳定性与兼容性的考虑,我们选取了8台硬件与软件配置完全一样的主机,硬件配置为:CPUPⅡ400MHZ内存128SDRAM;操作系统为:Linux9.0。这样便于对PBS系统整体性能测试。其次对于主机间的通信,为了提供一个快速稳定的网络环境,我们采用以太网的技术用5类双绞线和一台百兆交换机将这8台机器组成一个小型局域网环境,并进行了相应的网络设置。软件环境的配置主要是对PBS系统的安装和配置,主要包括:系统安装、服务器配置、执行节点配置、进程启动、建立作业队列、实验的内容是提交一个矩阵相乘的并行作业,矩阵运算在科学与工程计算中是最基本的核心问题之一,用它来进行测试具有代表性。本作业要完成A、B两个1000*1000矩阵相乘目的是为了对搭建的PBS系统环境进行测试,检验PBS系统的正确运转及相关性能的测试,并对实验结果进行分析4。

首先采用并行行列划分算法,通过MPI编写实现矩阵相乘的并行程序pjob.c(程序代码见附录)。并在linux下用mpiccpjob.c进行编译,生成a.out执行文件,将参与运算的矩阵文件A.dat、B.dat拷贝到本地。并在单机下直接运行命令./out,记录运行产生的结果。然后,编写作业提交脚件,在脚本中对作业进行资源需求的描述。之后,运行命令qsubparallel_job向PBS服务器提交作业,通过监控命令qstat可以看到作业已经分配到执行队列中处于执行状态,并且服务器分别将并行作业的子进程传输到各台执行节点上运行,8台执行节点都处于运行状态。各节点的并行程序的子进程运行结束后,在标准输出文件中产生运算结果,记录运行时间。再逐步减少执行节点的数目继续实验,直到只剩下单机运行,记录单机运行产生的结果及运行时间。Fig.3connectionbetweonJobtimeandnode5结束语

提出了一种适合集群环境下的高效资源分配与利用方案,并给出了详细的设计过程。深入分析了PBS系统的内部运行机制、安全机制、调度策略等方面问题,提出了改进方案。研究PBS系统与网格计算环境的融合问题,并将PBS集群计算环境融入到了网格计算环境,将PBS系统作为网格计算环境的低层资源,并通过globus对PBS系统进行了作业提交,测试了PBS在globus下的正常运转。

【参考文献】

1都志辉.网格计算M.北京:清华大学出版社,2002:10.

2郑纬民等译.高性能集群计算M.结构与系统(第一卷),北京:电子工业出版社,2001:6.

3PBS用户手册:《PBSAdministratorGuide》S.2000:4.

4李,罗家融,王华忠.基于BEOWULF的PC集群系统设计及并行编程的研究J.微机算计信息,2005,

,高效分配网格资源设计方案飞雪

全文阅读已结束,如果需要下载本文请点击

下载此文档

相关推荐 更多

高效分配网格资源设计方案
发布时间:2012-03-28
摘要:介绍了基于集群技术的作业管理系统PBS,重点研究了PBS系统的体系结构、工作原理。着重从系统各进程的运行机制、安全策略、调度策略和通信策略等方面进行阐述。并分析讨论了PBS与网格计算环境的融合,最后给.........
学校绩效工资分配方案
发布时间:2015-10-26
为建立适应事业单位绩效工资改革要求、符合学校实际的内部分配机制,更有效地调动广大教职工的工作积极性, 促进学校健康快速发展和教育教学各项工作水平全面提升,根据成都市人力资源和社会保障局、成都市财.........
卫生院岗位绩效工资分配方案
发布时间:2011-12-27
根据《事业单位工作人员收入分配制度改革实施办法》的通知(国人部发[XX]59号)和人事部、财政部、卫生部关于印发《卫生事业单位贯彻<事业单位工作人员收入分配制度改革方案>的实施意见》的通知(国人部发[XX]1.........
银行支行绩效工资考核分配方案
发布时间:2011-12-22
第一章 总则 第一条 为配合我行工资制度改革,强化激励约束机制,建立一个适应现代化商业银行运作的科学、合理、规范的内部绩效工资考核体系,特制定本方案。 第二条 绩效工资考核分配方案,其宗旨.........
教师奖励性绩效工资考核分配方案
发布时间:2011-12-26
一、指导思想以科学发展观为指导,建立科学规范、便于操作的教师奖励性绩效工资分配制度,激励教师爱岗敬业,主动作为,有效推进学校工作的全面协调和可持续发展。 二、分配原则 1、坚持“激励先进,促进发展”.........
小学教师奖励性绩效工资分配方案
发布时间:2011-12-26
根据厦门市教育局《关于中小学校及教职工绩效考核工作的实施意见(试行)》等文件精神,奖励性绩效工资占绩效工资总量的30%。本着充分体现多劳多得、优绩优酬、充分调动广大教职工积极性,有利于学校管理,有利于.........
投资网站建设方案
发布时间:2011-12-26
一、项目目标1.1 需求分析电子商务(e-commerce)交易的个性化、自由化可为企业创造无限商机,降低成本,同时可以更好地建立同客户、经销商及合作伙伴的关系,为此,许多公司积极拓展电子商务,为客户服务,进行.........
网吧设计方案
发布时间:2015-10-15
最能在直观上突出网吧特色的即为网吧的装修风格。如果忽略了网吧的整体感觉,就会造成环境不佳,顾客不喜欢,即使费用再低,也不能够满足顾客的需求。在激烈的网吧行业中,独树一帜,敢于与别人不同,成为占领.........
薪酬分配方案
发布时间:2015-10-22
如何使企业经济效益与职工工作质量与技能、热情直接挂钩,使企业经济效益与职工收入、基本工资制度与具体分配形式有机地结合起来,既能反映职工动态的技能差别和静态的岗位差别,又能体现职工潜在的劳动差别和.........
设计方案格式
发布时间:2015-09-22
设计方案格式 一、策划书名称 尽可能具体的写出策划名称,如“×年×月×日信息系×计划策划书”,置于页面中央。 二、计划背景: 这部分内容应根据策划书的特点在以下项目中选取内容重点阐述,具体项目有.........