教学课程资源库 更多>>

关键词： 自动扩缩   云原生微服务   服务质量   资源效率   云计算  

摘要： 近年来,云计算作为战略性基础设施已成为新一代信息技术、数字经济等国家重大发展战略中的重要建设内容。自动扩缩作为云计算的一个核心功能,它允许基础设施自动地增加或减少资源,以匹配应用程序的实时需求,从而确保高效的资源利用和优化的应用性能。与此同时,基于云原生的微服务作为一种轻量级、可伸缩的服务部署方式,已成为构建现代应用的首选方法。 然而,面向用户的微服务应用服务于动态工作负载,这些工作负载经常表现出多变性和突发性。并且服务之间存在复杂的依赖关系,这给自动扩缩微服务从而在服务级别协议(SLA)内保持服务质量(Qo S)带来了挑战。此外,保守的策略可能过度供应造成浪费资源,而激进的策略可能供应不足导致违反SLA,这一事实使得设计有效的自动扩展变得更加困难。为了解决这些问题,本文研究了云原生微服务在动态工作负载中的自动扩缩算法,并结合多种前沿机器学习技术提出了相应解决方案,从而优化了微服务在运行时的Qo S保证和资源效率。具体来说,本文的主要研究工作和贡献包括以下三个方面: (1)提出了依赖自适应的自动扩缩算法。该算法采用基于期望最大化的迭代式图学习方法,以自适应地生成揭示服务依赖关系的亲和矩阵,并采用基于注意力的图卷积网络,通过聚合图结构数据的邻居信息来提取微服务的时空特征。因此,该算法可以捕捉到更多潜在的依赖关系,并准确估计动态工作负载下所有服务的资源需求。它能够在一次资源扩缩操作中重新配置所有关联服务资源,避免了服务依赖所导致的级联效应。实验结果表明,所提出算法不仅能准确预估和分配资源,还能自适应服务依赖的变化,并以更低的成本显著地减少了平均41%的SLA违约。 (2)提出了基于离线深度强化学习的自动扩缩算法。该算法首先利用历史遥测数据和机器学习方法构建了一个能够动态模拟资源配置、工作负载和性能之间关系的微服务模拟环境。然后使用模拟环境来提高深度强化学习(DRL)智能体的训练效率。训练好的DRL智能体可以迁移到真实微服务环境中,并根据实时监控指标在线扩缩资源。实验评估了模拟环境的保真度,评估了资源分配策略从模拟环境迁移到真实微服务环境的有效性,并和其他自动扩缩算法进行了对比评估。评估结果表明,与其他主要算法相比,所提出算法能够在时间受限的交互训练下实现更高效的资源分配策略,并以更低的成本降低了32%-92%的SLA违约。 (3)提出了突发感知的自动扩缩算法。该算法采用了一种新颖的基于预测的突发检测机制,能够区分可预测的周期性工作负载峰值和实际工作负载突发。一旦检测到突发,该算法通过超额估计来采取宽松的资源分配策略,以应对资源需求的快速增长。相反,在非突发时,该算法利用DRL来校正资源估算中潜在的不准确估计以实现更保守和精细的资源分配策略。通过真实的自动扩缩实验,验证了所提出算法在保障SLA和减少资源成本方面的有效性。同时,在十个工作负载的适应性验证中,所提算法对包括突发在内的不同工作负载特征表现出最好的适应性。在十个真实工作负载上进行的实验验证了所提算法的有效性,与其他主要方法相比,在SLA违约方面平均减少了57%,在资源成本方面平均降低了10%。 综上所述,本文针对云原生微服务动态工作负载的自动扩缩问题,结合图神经网络和深度强化学习等前沿机器学习方法,提出了三种创新性算法。这些算法有效克服了现有自动扩缩策略难以有效应对复杂服务依赖、交互耗时以及应无法处理工作负载突发等方面的不足。通过广泛的实验,验证了这些算法在优化Qo S、提高资源利用率和减少SLA违约等方面的有效性。本文的研究成果对于理解和实现可靠和高质量的云原生应用至关重要,并为服务计算等相关领域的进一步发展奠定坚实基础。

关键词： 故障预测   云计算   深度学习   时序序列   多模态  

摘要： 云服务器故障预测技术是确保云服务器稳定运行的关键手段之一,旨在及时预测潜在故障,从而降低数据和经济损失。然而,数据集的稀缺性使得相关技术的研究和应用受到限制。多源数据在模态上的差异以及数据样本分布的极度不平衡问题,进一步加大了云服务器故障预测技术研究的难度。针对这些挑战,本文构建了一个稀缺的大规模多模态云服务器故障预测数据集,并提出了基于单模态和多模态的云服务器故障预测算法。以下是主要工作的总结: 利用阿里云提供的大规模数据,结合工业实践经验,组织了一个多模态云服务器故障预测数据集。这是国内少有的来自顶级云计算平台的服务器级别的多模态故障预测数据集。数据集涵盖120天的时间跨度,收集了近100,000台真实工业场景下的云服务器数据。数据类型包括系统日志构成的语义时序序列和系统性能指标构成的数值时序序列,支持单模态或多模态的故障预测技术研究。 基于语义和数值时序序列数据的共性和差异性,提出了一种基于自注意力机制的单模态故障预测模型。从模型结构、训练损失函数上进行深度优化,增强了模型对序列整体特征的学习能力,缓解了样本分布不平衡问题。实验结果表明,提出的单模态模型性能具有优势。在单独使用数值时序序列数据时,衡量模型性能的主要指标F1分数相对提升了13.6%;在单独使用语义时序序列数据时,F1分数相对提升了7.8%。 进一步地,从多模态的角度出发,提出了一种新颖的基于多模态时序序列的云服务器故障预测模型,突破了以往单模态方法的在预测效果上的有限性。新的模型在保留不同模态数据独立特征的同时,加入时间尺度上多模态数据的融合特征。针对样本不平衡和样本混淆问题,使用一种新的服务器级别的损失函数,动态调节样本参与模型更新的权重。实验结果表明,与其他优秀的深度学习模型比较,提出的多模态故障预测模型在性能上表现出优势,在精确率上至少相对提升了31.6%,召回率相对提升了15.9%,F1分数相对提升了24.6%。

关键词： 云计算   同态加密   逻辑回归   隐私保护   梯度共享   鲁棒性  

摘要： 随着云计算技术的广泛应用,数据已成为推动时代进步的核心要素,掌握数据就意味着掌握了未来。云计算技术与机器学习的结合,有效提升了模型训练的效果,从而增强了机器学习模型的性能。然而,云服务器上的数据隐私保护问题也日益凸显。尽管各国相继颁布了相关的法律法规以规范对隐私数据的访问,但在数据隐私安全、模型隐私安全、分类结果隐私安全这三个方面,仍面临着巨大的威胁。为确保数据隐私得到切实的保障,研发具备隐私保护功能的机器学习方案显得尤为迫切。在机器学习分类模型中,逻辑回归由于其模型简洁度强和计算复杂度低的特点,得到了广泛的应用。为有效保证训练模型的实用性、准确率和安全性,本文基于同态加密技术,围绕逻辑回归模型训练可能引起的隐私安全问题,提出了安全的逻辑回归隐私保护方案,主要工作如下: (1)针对逻辑回归训练中存在隐私泄露和效率较低的问题,提出了一种基于双云架构的隐私保护二元逻辑回归方案,该方案利用分布式双陷门公钥密码系统,对方案中的用户数据及模型参数进行加密。通过分割主密钥并分配给两个云服务器,云服务器均只能对密文数据的部分解密,无一方能够独立获取全部明文信息,从而提升了数据的安全性。在模型训练阶段,提出了一种应用于双云架构的梯度共享方案,通过增加参与用户本地端迭代计算次数,减少参与用户的交互,提高了模型的训练效率。在模型评估阶段,提出了授权第三方应用程序查询评估结果,即可支持用户在线或离线评估,为用户增加了便利,减少了计算开销。方案还通过优化加密数据处理和计算流程,既保护了用户查询信息、分类结果及模型的隐私性,同时又确保了分类结果的准确性。 (2)针对逻辑回归训练中多分类训练的隐私保护问题,提出了一种基于同态加密的安全多元逻辑回归方案。该方案通过采用一对其余策略将二分类模型扩展至多分类场景。利用有效的编码方式,通过将数据密文转化为密文矩阵进行模型训练,确保训练过程中模型参数和用户数据不被泄露。基于近似算术同态加密技术,实现了梯度下降的同态计算。具体分析了每个环节中重要的算法,完成了模型相关计算,从而实现了安全外包计算。最后,通过在代表性数据集上进行实验分析,验证了所设计的多元逻辑回归模型不仅预测准确率高,同时也实现了对用户数据及模型参数的隐私保护。通过利用多种攻击手段攻击模型,验证了该模型可以有效地进行防御攻击,保持有很好的鲁棒性。

关键词： 可搜索加密   模糊搜索   词组搜索   隐私保护   云计算  

摘要： 随着数字经济的发展和现代信息技术全球化的推进,云计算得到了快速的发展。云计算可以提供巨大的存储空间、强大的计算能力和低成本的服务,这些出色的特性使得它在智慧教育、智能医疗等领域发挥着重要的作用。越来越多的用户倾向于将自己的数据外包给云服务器,以便灵活方便地查询和利用这些数据。然而,用户和数据的分离使得数据安全无法得到有效保证,用户的隐私数据可能泄露。因此,在将这些数据上传到指定的云服务器之前,需要使用可搜索加密技术对其进行加密,这使得用户数据在密文状态下仍然可以被搜索。另外,在实际应用场景中,用户在使用关键词进行搜索时可能会出现拼写错误,云服务器也可能因为软硬件错误等原因向用户返回不正确的搜索结果。这都会导致搜索用户无法获取期望的搜索结果。为了解决上述问题,本文针对隐私保护的可验证模糊关键词搜索进行研究,提出了两个不同的方案: (1)为了实现云辅助电子医疗系统中的容错搜索和结果验证,提出了一种支持数据共享隐私保护的可验证模糊关键词搜索方案。方案对敏感信息进行加密,并在所有用户之间共享电子医疗病历中的其他信息。除此之外,还设计了新的关键词转换的方法以支持电子医疗病历中的关键词类型,并实现了四种模糊关键词搜索模式。为了实现公开验证,采用BLS签名算法生成两种验证标签。为了提高搜索效率,构建了基于平衡二叉树的安全索引。分析了方案的安全性并完成了一系列实验来评估该方案的有效性。实验结果表明该方案可以达到很高的精度。 (2)为了实现模糊词组搜索和结果验证,提出了一个支持隐私保护的可验证模糊词组搜索方案。方案通过关键词变换技术和安全kNN算法构建了一个新颖的关键词匹配列表来支持模糊关键词搜索。为了提高搜索效率并实现动态更新,基于虚拟二叉树生成计数布隆过滤器,可以帮助找到包含搜索关键词的文档。为了安全地判断搜索关键词之间的位置关系,采用同态加密和双线性映射技术对关键词的位置进行加密。为了实现结果的验证,构建一个文档索引表来存储基于消息认证码技术生成验证标签。分析了方案的安全性并完成了一系列实验来评估该方案的有效性。实验结果表明该方案可以达到较高的精度。

关键词： 人工智能   物联网   大数据   云计算  

摘要： 本研究旨在探讨基于ISO 9001标准的电气开关GIS设备智能制造质量管理体系的建立和实践。分析了电气开关GIS设备生产过程中存在的质量问题和智能制造技术的应用。根据ISO 9001标准的要求，提出了电气开关GIS设备智能制造质量管理体系的框架和实施方法。该体系包括质量方针和目标、质量管理计划、生产过程控制、质量控制措施、质量记录和分析、持续改进等方面。最后，通过实际案例分析，验证了该体系的有效性和可行性。研究结果表明，基于ISO 9001标准的电气开关GIS设备智能制造质量管理体系可以有效提高产品质量和客户满意度，减少缺陷和损失，提高市场竞争力。该体系的实施需要企业高层的支持和全员参与，同时需要不断改进和优化。未来，可以进一步结合人工智能、物联网、大数据、云计算等技术，实现电气开关GIS设备生产过程的智能化和自动化，进一步提高产品质量和生产效率。

摘要： 基于云计算技术构建了网络数据库平台，其中主要包含操作系统设置、Hadoop集群系统搭建、数据整合与预处理、数据存储、数据挖掘与分析、安全运维，以期能够为云数据库优化构建奠定坚实基础。

摘要： 云计算是一种将计算资源和相关服务通过互联网提供给用户的新型技术，能够实现计算资源、存储资源和网络资源的高度抽象、池化和动态分配，保证用户根据需求随时获取上述资源，无需将精力投入到底层硬件设备的细节中。云计算技术结合了数据多副本容错、计算节点同构等技术，具备动态伸缩的服务规模，并提高了资源利用的灵活性和成本效益。在电力信息系统中，可利用云计算技术处理规模庞大的电力数据，通过资源的共享和优化，降低电力系统的运营成本和维护成本，采用大数据智能分析技术，满足数据查询、数据预处理、数据导入和导出、指标统计、指标监控等基础功能需求。

关键词： 云计算   多租户   数据隔离   隐私保护  

摘要： 云计算环境下的多租户架构通过资源共享，极大地提高了资源利用率，但也带来了数据隔离与隐私保护方面的挑战。本文分析了当前多租户数据隔离与隐私保护技术的现状，探讨了物理隔离、逻辑隔离和虚拟化隔离等多种隔离技术的优缺点，并改进了数据隔离机制，提出了一种数据隔离机制和增强的隐私保护算法，设计了一种多租户数据隔离与隐私保护系统架构，旨在提高数据的安全性和隐私性，实现多租户环境中的高效数据安全保障，为相关行业的发展提供一定的理论基础。

关键词： 遥感影像   大数据   分布式   云计算   容器化  

摘要： 随着航空航天技术和对地观测技术的不断发展,遥感影像的空间分辨率、时间分辨率和光谱分辨率不断提高,对地观测能力和数据保障能力大幅提升,海量多源的遥感数据呈现出爆发式增长趋势,地球观测进入到了大数据时代。然而,由于本地计算资源的局限性,以往的数据管理技术和桌面端遥感处理平台难以满足遥感大数据快速处理与信息挖掘需要。面对当前场景,如何在保证个人数据私密性和安全性的前提下,实现对遥感大数据的存储管理、计算分析和发布共享,具有重要的研究意义。 本文在此背景下展开研究工作,通过设计可以搭建在私有云环境中的分布式遥感计算与发布平台,突破单机计算资源的限制,满足用户在遥感大数据的存储管理、分析计算和数据发布方面的需求。本文研究工作和成果包括以下方面: (1)本文通过前后端技术自定义接口,整合各种开源框架并对其进行二次开发,设计并实现了分布式遥感计算与发布平台。在数据存储方面,使用对象存储技术为平台提供遥感数据存储服务支持,同时设计数据持久化方法,使用户更便捷地访问遥感数据;在数据分布式计算方面,实现了一个Web编程界面并集成了分布式计算框架,便于用户使用自己编写的计算代码完成分布式并行计算;在数据发布方面,平台提供了符合OGC的数据发布服务,通过设计REST API接口,平台可实现对象存储服务中的遥感数据自动化发布,用户可以跨平台共享和利用这些数据,提高了其数据的可访问性和互操作性。 (2)设计高可用集群架构并使用容器编排技术,使其具有出色的容器化支持、可扩展性以及弹性伸缩能力。在私有云环境下部署平台及各项服务,并设计遥感数据分布式计算任务。最终实验证明,随着分配计算资源的增加,数据计算速度得到了明显的提高。基于上述研究,本文构思的分布式遥感计算与发布平台为应对遥感大数据处理的挑战,提供了合理可行的解决思路,满足用户对遥感数据存储管理、分析计算和发布共享的需求。