教学课程资源库 更多>>

关键词： 异构计算   云计算   大数据   访存分析   访存性能优化   资源预测   资源调度  

摘要： 大数据环境下,传统的计算模式已经难以满足大数据处理和分析的需求。异构计算凭借系统多样性、计算卓越性以及任务分配灵活性等特点已经成为大数据处理领域一种新的计算模式。云计算供应商通过在数据中心中部署大量异构计算资源,为大数据处理提供了弹性、可拓展的基础设施和服务,以满足用户各种应用程序和工作负载的需求。随着计算复杂度和数据规模的不断增加,异构计算模型的计算效率并不能明显提升。为适应复杂的大数据环境,计算模型性能优化问题显得尤为迫切。因此本文对执行计算密集型AI任务的异构计算模型在大数据环境下的计算性能优化展开研究,主要分为以下三个方面: (1)在理论层面研究异构计算模型的访存性能,以优化大数据环境下的异构计算效率。异构计算模型中,访存性能的优化是提高计算性能的关键要素之一。GPU是处理大数据和AI计算任务的主要算力。为深入了解异构并行计算架构的内存性能瓶颈,基于GPU提出一个存储性能分析模型,同时将该模型拓展到CPU,用以分析和优化异构处理体系协同计算时的内存性能。在GPGPU-Sim进行仿真实验,结果表明异构处理器内存性能的分析模型能够有效的量化异构处理器协同计算时的内存性能,计算程序平均加速比减少约0.411,极大的提高了异构系统的计算性能。 (2)在理论研究的基础上,优化异构计算典型应用——大型数据中心的计算效率。理论研究发现异构计算系统的计算资源并不能得到充分利用,存在较大的计算资源冗余,尤其在大型数据中心中造成大量的资源浪费且不能有效的提高计算效率。大型数据中心是执行计算密集型AI任务的核心基础设施,异构数据中心合理的资源配置将极大提高计算密集型任务的响应速度和计算效率。因此,有效的计算资源利用率预测对异构数据中心合理的资源配置显得尤为重要。为解决计算资源时间序列预测方法存在的非线性预测准确性问题、数据长期依赖难预测问题、不同变量间影响因素融合问题以及特征不能充分提取问题,提出一种基于“编码器-解码器”范式的多变量时间序列预测模型NeA3L。NeA3L使用多个并行的Transformer-encoder作为特征提取模块,再采用三层LSTM作解码器,并融合注意力机制来处理编码器隐藏状态变量。在Alibaba生产数据集上开展大量实验。实验结果表明,NeA3L模型表现出显著的预测精度,RMSE为6.58,优于当前最先进的资源预测方法。消除预测之后问题后,RMSE为3.35,同样优于当前最先进的资源方法。另一个方面,在实验中揭示并验证时间序列预测领域普遍存在预测滞后现象,并提供多种解决方案作为参考。同时在四种不同领域数据集上验证NeA3L的普遍适用性,结果表明,NeA3L模型在四种不同领域数据集上的预测效果均优于当前最优的预测模型。 (3)通过研究异构计算体系的基础理论并分析异构计算典型应用——数据中心资源利用,结合NeA3L大型数据中心资源利用率预测模型,研究异构云数据中心基于预测的资源调度模型。为了处理不断变化的异构计算模型的工作负载,有必要准确预测未来的资源需求,以便实现最优的资源配置。针对虚拟化资源调度方案在物理资源调度上均衡性不足,缺乏对等待资源请求虚拟机的全局视图,不能实现多种资源的高效并发调度。提出一个基于预测的异构数据中心虚拟资源调度模型;针对大量基于用户满意度优化的任务调度方案缺乏对用户实际时间、成本等心理预期的考虑,无法在最大程度上保证用户的满意度。提出一个基于预测的云数据中心任务调度模型。通过在Cloud Sim仿真实验平台的实验证明,所提出的两种基于预测的调度算法均具有较为优越的性能,能极大地提高异构系统的资源利用率。 本文在研究大数据环境下的异构计算系统的性能优化问题中,分别通过异构计算理论研究、异构计算资源需求以及异构计算资源调度三个方面来提高异构计算系统的计算效率。理论研究为基础,资源预测模型为关键,设计适用于异构数据中心的资源调度模型。本研究可以有效提高异构计算模型协同计算时的计算性能,为各种类型的数据中心提供较为良好的性能提升解决方案,以期适应于愈加复杂的大数据环境。

关键词： 无服务器计算架构   算法   虚拟数字人  

摘要： 本文提出了一种基于无服务器计算架构的虚拟数字人模型，该模型能够通过视频数据生成动作和语音。使用VideoTo3dPoseAndBvh算法从视频中提取人体关节点，并转化为3D骨骼动画。同时，采用Mockingbird算法实现文本到语音的合成。这两种算法的结合，使得虚拟数字人模型能够生动地模仿人类的动作和语音。同时，将项目迁移到云端，提高了运算效率，还大幅降低了运维成本。云上的架构为算法提供了自动扩展的能力，确保了在高负载时模型保持高性能，而在低负载时最大化节省资源。容器技术又确保了项目环境的一致性和快速部署，算法在任何云平台上运行，都能在容器内稳定执行。

关键词： 云计算   任务调度   深度强化学习   自适应   响应时间   能耗  

摘要： 云计算作为一种新一代信息技术,为用户提供时刻在线的弹性云服务,与物联网和大数据一起成为全球智能化的主要驱动力。由于云计算的快速发展,云计算设施规模不断扩大且终端用户数量不断增加,云数据中心的能耗问题日益凸显。云数据中心的高能耗不仅会增加云服务提供商运营成本和降低服务器等设备的使用寿命,造成能源和资源的严重浪费,还会产生温室气体,因此,数据中心的节能减排受到了社会和政府的广泛关注。有效的任务调度通过高效的资源配置,为任务提供满足用户需求的资源,同时兼顾云服务提供商的节能需求,最终达到保证服务质量和降低能源消耗的目的,是解决云数据中心高能耗最有效的方案之一。 然而,面对用户多样化的需求以及云环境本身的复杂性,想要设计出在大规模云环境中既能实现数据中心节能目标又能满足用户需求的任务调度算法面临巨大挑战。本文针对云负载的动态性、云任务调度的实时性、云平台的不稳定性以及数据中心规模庞大等四个现实问题,提出了一系列基于深度强化学习的创新型节能任务调度方法,以降低云数据中心能耗,本文的主要研究成果包括: (1)针对云数据中心负载一直处于动态变化中且具有不可预测性,提出了基于深度强化学习负载动态感知的任务调度方法,探究动态深度强化学习框架自适应负载变化。首先,设计了在线贝叶斯负载突变检测算法,根据负载本身的变化特性,精确地检测出云数据中心负载的趋势变化。其次构建了一个自动生成网络,依据不同变化类型的负载动态地调整深度强化学习折扣因子,增强了深度强化学习对负载变化的适应能力。最后设计了自适应负载变化的深度强化学习算法以及能最大程度地减少任务响应时间并最大化资源利用率的奖励函数。实验表明,该方法在不同数据集上都能有效降低任务响应时间和能耗。 (2)针对云环境下调度时间关键性云任务的实时性要求,提出了一种基于模仿学习和深度强化学习的实时任务调度方法,通过引入专家经验弥补深度强化学习固有的在线更新样本少,有效性差的不足。首先,使用行为克隆技术,通过离线初始网络参数训练为深度强化学习提供初始模型参数,以保证深度强化学习的初始决策质量。其次,设计了一种基于在线异步模仿学习的深度强化算法,通过在线提供实时的专家知识,帮助智能体学习和优化。实验表明,该方法能在加速智能体收敛的同时,产生最短的任务响应时间、最低的能耗和最高的任务成功率。 (3)针对云数据中心资源的不稳定性,提出了一种基于表示学习和深度强化学习的高鲁棒性任务调度方法,借助表示学习技术促使深度强化学习应对资源的不确定变化。首先,提出了一种基于属性的层次化聚类方法,将服务器聚类成特定数量的服务器子集,并将动作空间由服务器的集合转变为服务器子集的集合,从而使动作空间可控。其次,构建了一个可扩展的特征融合网络,该网络能捕获任务和云环境的特征表示,并为深度强化学习网络提供低维和固定大小的输入。最后,设计了一个自适应服务器不确定变化的深度强化学习算法。实验证明,该方法在不同机器事件密度的云环境下表现突出。 (4)针对云数据中心规模的不断扩张,提出了基于多智能体深度强化学习的大规模任务调度方法,通过构建多智能体系统来克服单智能体决策网络结构复杂,参数量大的局限。首先使用一个基于排队论的中心调度器将任务分配给不同的智能体。其次,每个智能体根据自己的局部环境观测值,通过协同合作的方式将任务分配到特定服务器上。实验结果表明,该方法在不同规模的数据中心,尤其是大规模数据中心,能在保证性能的同时分配任务所需的决策时间最短。

关键词： 云计算服务供应链   数据安全   安全评估  

摘要： 随着信息科技的高速发展，云计算服务已成为我国大量企业的常规化数据处理策略。云计算服务供应链作为信息传输、存储和处理的核心环节，其安全性直接关系到国有企业的信息资产保护和国家安全稳定。基于此，本文从国有企业的角度去思考云计算服务供应链安全评估工作现状与安全评估框架。通过分析云计算服务供应链安全风险，发现数据隐私泄露、供应商可信度问题、网络攻击与恶意活动等问题对于云计算服务供应链安全管理存在一定的隐患和风险，提出了云计算服务供应链安全评估框架以及云计算服务供应链安全评估方法，从方法论上提升国有企业云计算环境的数据安全性。

关键词： 联邦学习   可验证   云计算   拜占庭鲁棒   数据隐私  

摘要： 随着数据呈指数级增长,深度学习在众多领域迅速发展。然而,为了训练强大且准确的模型,需要收集大量的数据或者构建联合数据集。在这些数据中包含大量的隐私信息。因此,在深度学习中保护隐私数据至关重要。联邦学习作为一种新型的分布式机器学习方法,有效地解决了数据隐私问题。尽管如此,研究表明联邦学习依然存在着隐私泄露问题。此外,云服务器可能会进行不完全甚至错误的梯度聚合。同时,恶意用户可能会破坏整个联邦学习过程,引发拜占庭攻击。这些安全问题在联邦学习中所不容忽视。现有方案以确保安全性为主,但未能兼顾计算和通信效率以及模型精度。因此,本文针对现有的联邦学习方案中存在的安全问题展开了研究,并提出了新的解决方案,旨在解决安全性问题的同时提高计算和通信效率。本文的主要创新点如下: 1)可验证的隐私保护联邦学习方案。针对联邦学习中存在的隐私保护和聚合梯度可验证的安全问题,本方案提出了一种可验证的隐私保护联邦学习方案(Privacy-Preserving Federated Learning with Verifiability,PPFLV)。为了保护用户的隐私,该方案设计了一种高效的双梯度盲化加密方法,对用户的局部梯度进行盲化和加密。此外,该方案提出了一种新的双梯度验证方法,能够在验证阶段抵御重放攻击的同时实现安全验证。使用本方案提出的验证方法,用户只需要执行轻量级操作即可验证聚合加密梯度的正确性,并从聚合加密梯度中恢复聚合梯度。实验结果表明,PPFLV能够高效地实现梯度隐私保护和安全验证。 2)拜占庭鲁棒的隐私保护联邦学习方案。针对联邦学习中隐私泄露和拜占庭攻击的问题,本方案提出了拜占庭鲁棒的隐私保护联邦学习方案(Byzantine-Robust Privacy-Preserving Federated Learning,BRPPFL)。为了抵抗拜占庭攻击,该方案设计了一种基于余弦相似度的拜占庭鲁棒聚合方法,保证了模型的全局更新,并提高了模型的分类精度。此外,该方案引入了一种考虑用户行为的奖惩机制,以减轻拜占庭用户对全局模型的影响。为了保护用户的隐私,该方案采用对称同态加密对用户已训练完成的局部模型进行加密,在保证模型准确性的同时降低了计算成本。该方案对BRPPFL的性能进行了实验评估。实验结果表明,与传统的联邦学习方案相比,BRPPFL在保持模型分类精度的同时,确保了隐私保护和拜占庭鲁棒性。

关键词： 高速列车   运行仿真   冲突检测   云计算   运行态势辨识   证据理论   可转移信度模型  

摘要： 近年来,我国高速铁路发展迅速,运营效率成为了衡量高铁网络的重要指标之一。在列车运行过程中,由于不可预测的内外部因素的干扰,可能会使列车无法按照预定的时刻表运行,导致其实际运行的时刻表与原行车计划中的时刻表之间产生差异,影响铁路运输效率。因此,在列车的运行图受到干扰时,需要列车调度指挥系统及时调整列车实际运行图。我国通过全国铁路局的协同运作来实现对全国铁路网络的调度指挥,而云计算具有强大的计算能力,本论文研究基于云计算的列车运行并行仿真与冲突辨识,以提高列车调度指挥优化计算的效率。本论文列车运行态势是列车运行轨迹变化趋势的描述,能够反映列车的运行状态变化,列车在不同的运行计划下都有与之相对应的运行态势。如何实时辨识列车当前的运行态势,判断列车是否处于异常的运行状态,及时对运行存在异常的列车进行调整,避免列车产生存在冲突的时刻表,保障铁路网络的运营效率,成为有意义的研究课题。 具体而言,为了实现对高速列车运行过程的预测和对其潜在运行冲突的检测,本文研究高速列车运行仿真模型与基于该模型的列车冲突检测算法。进一步,针对大规模高速铁路网络环境下,列车运行仿真及列车运行冲突检测对于准确性和实时性的要求,本文研究了基于云计算的高速列车运行并行仿真模型。为了能够准确地判断高速列车的运行是否存在异常,提前发现可能导致列车发生冲突的潜在因素,本文研究了基于Dempster-Shafer证据理论的列车运行态势辨识算法。为了能够保持列车运行态势辨识的结果在大规模铁路网络下依然具有强实时性,本文提出了基于云计算和证据理论的列车运行态势辨识算法。基于列车实际数据,对本文所研究的模型与算法的有效性、计算实时性进行了仿真验证。本文的主要研究工作以及创新点总结如下: (1)为了对高速铁路网络中运行列车的时空关系问题进行量化分析和仿真计算,提出了高速列车运行仿真模型。该模型根据高速列车在我国列控系统下受到的各类时空约束条件,结合元胞自动机,确立列车的速度和位置更新规则。为了检测列车间是否存在潜在的运行冲突,在高速列车运行仿真模型的基础上,提出了列车运行冲突检测算法。算法针对相邻列车间可能产生的区间冲突,通过仿真预测同向行驶的列车在未来一段时间内的位置区间之间是否存在交集的方式,检测列车运行的潜在区间冲突。仿真测试结果表明,该高速列车运行仿真模型能够较准确地对铁路网络中运行列车的时空关系进行仿真,冲突检测算法能够有效地检测出列车运行的潜在区间冲突,且冲突化解策略能够选择效果较好的调度方法对冲突实施化解。 (2)为了提高大规模铁路网络列车运行仿真模型的计算效率,增强仿真预测的实时性,提出了基于云计算的高速列车运行并行仿真模型。该模型基于列车行车许可的生成过程和工作原理进行设计,根据列车的进路信息、相邻列车信息、调度命令等计算列车的行车许可长度及速度,由此建立列车运行的时空约束条件。在列车速度位置更新规则中融入了一步预测的思想,避免了列车从加速运动状态直接转为减速运动状态的问题。为了降低大量列车运行仿真预测的时间成本,该模型采用了并行计算的方法来实现,将待仿真列车分散到Spark云计算平台的各个计算节点上同时进行仿真计算。仿真测试结果表明,云计算能够有效减少列车运行仿真在处理大规模列车时所需要的时间成本,极大提高了仿真预测结果的实时性,为列车处理未来可能的潜在风险提供了更多的冗余时间。 (3)为了能够辨识列车运行态势,判断列车运行轨迹是否出现异常,提出了基于D-S证据理论的列车运行态势辨识方法。该方法将列车的运动模型和运行状态组合成列车的运行参考模型,依据列车的参考模型来建立列车运行态势的识别框架,利用D-S证据理论分析列车运行数据,识别列车的运行状态,判断列车的运行是否符合预期。提出了基于列车对闭塞分区占用时间的列车运行态势Mass函数定义,通过D-S证据组合规则推导了列车在相邻闭塞分区之间运行的过程Mass函数。在实验分析中利用该方法对一实际事故进行了分析,通过对比分析结果与实际事故报告发现,列车运行态势辨识算法能提前有效识别出事故列车的运行状态,并在事故发生之前提前发现列车的运行异常,起到提前预警的作用。基于D-S证据理论的列车运行态势辨识方法能够自动辨识列车的异常运行状态,调度员可据此及时调整列车的运行,避免列车因异常运行状态而发生运行冲突。 (4)为了能够实时准确地判断高速铁路网络下大规模列车运行状态是否存在异常情况,提出了基于云计算和可转移信度模型的列车运行态势辨识算法。该算法基于开放世界的假设,建立关于列车运行态势的识别框架,利用可转移信度模型对实时采集的列车运行信息进行分析,判断列车的实时运行态势。提出了基于列车速度与位置信息的列车运行态势似然度函数的定义,推导了列车运行态势似然度函数与Mass函数之间的转换关系。为了解决似然度函数在长时间累

关键词： 云计算   AORBCO模型   人工智能   智能   程序生成  

摘要： 随着云计算领域的发展,大数据处理平台技术如Hadoop等应运而生,然而大数据平台具有其独特的编程模型及实现细节。目前的Map Reduce程序只解决具体问题,缺少Map Reduce程序设计经验或设计特征总结,还不具备形式化的描述和知识库的经验继承和应用。为解决云计算程序智能化的问题,即设计一种通用的云计算程序生成方法,实现云计算程序自动生成。本文研究设计基于AORBCO(Agent-Object-Relationship Model Based on Consciousness-Only)模型的云计算程序智能化体系结构。通过提出云计算程序智能化的定义,为云计算程序自动生成提供理论基础。在AORBCO模型中构建关于云计算程序设计领域所需的描述性知识与过程性知识,完成云计算程序智能化体系结构的设计,提出云计算程序智能化的实现机制。结合程序生成与机器学习分布式训练技术,使得云计算在CPU资源以及GPU资源上的程序设计和开发变得更为高效和便捷。本文的主要研究内容与创新点包括以下几个方面: 1)针对云计算程序智能化中数据集任务无法辨识的问题,本文提出Map Reduce程序智能判定算法分析数据集的键值对特征,以及给出解决海量小文件合并的方法。针对云计算程序生成的数据处理类型的分析判定问题,依据Text Rank算法以及提出云计算程序智能化领域中的实体对齐算法,该算法依据输入数据集的实体信息与知识库中实体信息进行相似度计算,提取排序最靠前的实体作为判定数据处理类型的关键实体信息,解决了程序生成过程中数据处理类型的分析识别问题。针对Map Reduce程序模块特征匹配问题,提出能力匹配算法,根据能力的参数类型和个数以及约束条件判断能力是否对齐。通过Free Maker模板来生成云计算程序通用模块,利用AST技术实现Map Reduce程序模块特征的解析与重构,结合两种技术完成程序生成中的模块组合,实现云计算程序的生成并通过AORBCO模型平台进行实验验证,完成Map Reduce程序对CPU资源的调度。 2)针对机器学习分布式训练中GPU资源调度问题,引入参数服务器架构,通过Spark计算框架与Pytorch的结合,使用Spark计算引擎改进Pytorch框架默认数据并行方式,实现大规模数据并行处理。针对传统Yarn分布式资源调度管理仅支持CPU和内存资源的问题,提出使用Yarn集群资源管理系统与资源抢占和资源回收的方式动态协调GPU并行且调度,将GPU资源加入Yarn的资源模型,从而解决GPU单机训练模型计算性能问题。 3)在基于AORBCO模型的智能Web平台中,用户输入数据集和需求,在知识库中理解了数据集和需求,并通过能力匹配找到相应匹配的程序模块,则通过程序生成模块进行Map Reduce程序和Spark程序生成;针对暂时无法找到相应能力模块的问题,提出在给出相应伪代码的提示基础上采用与用户交互的方式,从而完成在知识库暂未涉及的领域的程序自动生成。

关键词： 数字化转型   电力管理   智能化设备   云计算  

摘要： 本文探讨了数字化转型对电力管理的多重影响，包括智能化设备、网络化与云计算整合、创新能源整合与可持续发展。然而，随之而来的挑战如数据隐私与安全性、技术标准与互操作性、系统升级与可持续性也亟待解决。为适应这一变革，文章提出了灵活对策，包括制定全面的数字化转型战略、投资于人才培养、创新管理模式与领导力发展。这些对策旨在推动电力管理行业更好地利用数字技术，实现高效、可持续和创新的发展。

关键词： 大数据   高校财务管理   信息化建设   云计算   信息安全  

摘要： 随着信息技术的飞速发展，大数据已成为推动各行各业变革的重要力量。高校作为知识创新与人才培养的摇篮，其财务管理信息化建设同样需紧跟时代步伐。文章分析了当前高校财务管理信息化建设的现状，指出了存在的问题与不足；阐述了大数据对高校财务管理信息化的重要性，包括提高管理效率、提升决策质量及强化风险防范等方面；提出了大数据驱动下的高校财务管理信息化建设策略，从更新管理理念、构建综合服务平台、提高财务人员素质及强化信息安全防范等四个方面进行了深入探讨，旨在为高校财务管理信息化建设提供有益的参考与借鉴。