关键词:
云计算
物理服务器集群
资源管理
虚拟机调度
负载均衡
能耗
摘要:
云计算的兴起为用户带来了更多高性能服务器的选择,满足了日益增长的计算和数据处理需求,为移动计算、物联网、大数据和人工智能等关键数字趋势提供动力,推动数字化转型。面对复杂多变的业务场景,对计算资源管理和调度技术提出更高要求,需要进一步优化云计算系统的性能和效率。
在云计算中,借助计算资源管理技术对物理服务器等计算资源进行集中管理和监控,为计算资源调度提供基础设施和数据支撑;计算资源调度技术在资源管理的基础上,优化调整资源的分配,确保系统的可靠性和稳定性。因此,计算资源管理技术和计算资源调度技术相辅相成,共同为云计算系统的高效运行和良好服务提供了有力支持。然而,随着云数据中心数量和规模不断扩大,如何基于异构的物理服务器集群实现资源的高效调度,是当前计算资源管理和调度面临的问题。针对以上问题,本文的主要研究内容包括:
1)提出一种面向物理服务器集群的高性能自动化管控技术(High-performance Automated Management and Control,HAMC)。首先,从物理服务器管理、操作系统部署、算力资源动态监控3个层面设计了HAMC体系架构。然后,针对物理服务器的异构问题,从物理服务器自动发现、硬件信息搜集、远程控制3个方面设计了物理服务器的一体化管理技术,实现了硬件资源高效统一管理;针对操作系统的差异问题,设计了基于异步消息传输的快速部署技术,提高了部署效率。最后,设计了基于微服务的算力资源动态监控技术,为物理服务器集群的实际使用提供了稳定、有效的安全运维。此外,为提升网络吞吐量,对传统网络架构进行优化。实验结果表明,HAMC能实现Inspur、H3C、Lenovo、DELL等物理服务器品牌的一体化管理,Red Hat、Cent OS、Ubuntu等操作系统的自动安装,以及用户使用情况、内存、CPU和进程资源的监控;在操作系统部署效率方面,与Cobbler和Open Stack相比,HAMC的部署效率明显提高;在网络吞吐量方面,与传统网络架构相比,在多跳测试和并发测试中均有所提升。
2)基于1)对物理服务器集群的精细化管理,面向虚拟机调度需求导致物理服务器集群负载不均衡、能耗高的问题,提出一种改进的模拟退火粒子群(Improved Simulated Annealing Particle Swarm Optimization,ISAPSO)算法优化物理服务器集群的性能。首先,针对负载均衡问题,从物理服务器内和物理服务器间两个方面考虑优化负载均衡目标模型;针对能耗问题,从能耗和数据中心物理服务器使用量两个方面提出降低能耗目标模型。同时,对于传统虚拟机能耗模型仅考虑CPU部件对能源消耗的影响,本文综合考虑多维度资源(CPU、内存、磁盘和带宽资源)全面构建能耗模型。然后,动态调整粒子群算法(Particle Swarm Optimization,PSO)的惯性权重系数、认知参数(81和社会参数(82,并且引入模拟退火算法来突破局部最优解。最后,实验结果表明,与PSO算法、BF(Best-Fit)算法和FF(First-Fit)算法相比,ISAPSO在实现物理服务器内和物理服务器间负载均衡、降低能耗和减少活动的物理服务器数量方面效果明显。同时,相较于PSO算法,ISAPSO算法具有更快的收敛速度。
3)基于1)、2)的研究内容,从用户接口、业务服务、基础设施、物理设备4个层面,设计并实现了面向物理服务器集群的自动化管控系统,可实现物理服务器集群的全生命周期管理,重点探讨了自动化部署技术、虚拟机调度技术、可视化技术等关键技术的设计与实现。最后,通过实验测试上述系统的功能。