教学课程资源库 更多>>

关键词： 软件测试   深度学习模型   模糊测试  

摘要： 基于深度学习模型的智能软件具有强大的推理与分析能力,被广泛应用在自然语言处理、图像识别、交通等多个领域。由于数据集的限制以及人工标签数据的依赖,深度学习模型易于出现非预期的行为。近年来,深度学习模型的质量问题受到广泛关注,特别是在安全攸关的领域。模糊测试能够基于有限的数据自动产生大量的测试用例且具有较强的故障揭示能力,深度学习模型备受关注。模糊测试应用在深度学习模型时,从测试用例集中随机地选择部分测试数据来构建种子队列,构建的种子队列的多样性难以保障,限制了深度学习模型的充分测试。此外,人们侧重提出各种变异策略和覆盖标准,忽略了种子选择与变异策略选择对模糊测试产生对抗输入和探索模型内部状态效率的影响。最后,深度学习模型的决策逻辑难以理解、输出概率化的特性,使得模糊测试结果难以判定。本文旨在研究面向深度学习模型的高效模糊测试技术,从种子队列构建、种子与变异策略选择、测试结果判定三个方面探索模糊测试技术的优化策略。主要研究工作包括:1)基于均匀分布的多样性种子队列构建方法。针对面向深度学习模型模糊测试的种子队列缺乏多样性的问题,提出了多样性驱动的种子队列构建框架DFuzzer,从测试用例集中迭代地选择与种子队列中种子差异最大的测试用例。为量化深度学习模型复杂测试用例间的差异,设计基于信息论的差异度量标准(IBDM)和基于特征的差异度量标准(FBDM)。利用三个数据集和七个模型评估并比较DFuzzer对五个模糊测试技术的改进程度。实验结果表明:DFuzzer能够在时间开销小的情况下,产生的对抗输入数量平均是基准技术的1.26倍,实现的神经元覆盖率/TFC覆盖率比基准技术平均提高了 1.60%/4.21。2)基于反馈的自适应种子与变异策略选择方法。针对已有种子与变异策略选择策略没有充分利用测试过程信息从而导致故障检测效率低的问题,提出了一种基于反馈的自适应种子与变异策略选择框架DeepController。DeepController将软件控制论引入模糊测试中,利用测试过程信息(包括覆盖信息、测试结果、种子使用次数和种子加入种子队列的时间),选择具有较高概率揭示故障或者触发新覆盖的种子与变异策略。基于DeepController框架,设计了自适应的种子选择算法AS2和自适应的变异策略选择算法ASM2。利用三个常用数据集和八个不同规模的模型评估DeepController在产生对抗输入和探索模型内部状态方面的有效性、效率和性能,并与深度学习模型测试技术进行了比较。实验结果表明:DeepController产生的对抗输入数目平均是基准技术的2.16倍,实现的神经元覆盖率比基准技术平均提升了 2.45%;在时间开销方面,DeeController优于大多数基准技术,略高于耗时最短的基准技术。3)提出基于蜕变关系的高效的模糊测试结果判定方法。针对面向深度学习模型的模糊测试缺乏高效的测试结果判定机制问题,提出基于蜕变关系的模糊测试结果判定框架DiffFuzzer。DiffFuzzer利用蜕变关系生成测试用例与判定测试结果,并且利用测试过程信息来选择高效种子与蜕变关系。在此框架下,进一步设计基于差异驱动的蜕变关系选择算法DDMR,并集成了 AS2种子选择算法。利用三个常用的数据集和八个模型评估DiffFuzzer在产生对抗输入和探索模型内部状态方面的有效性、效率和性能,并与代表性的深度学习模型模糊测试技术进行了比较。实验结果表明:DiffFuzzer产生的对抗输入数目平均是基准技术的2.11倍,实现的神经元覆盖率比基准技术平均提升了 2.93%;在时间开销方面,DiffFuzzer优于所有的基准技术。4)开发面向深度学习模型的模糊测试支持工具EFuzzer。EFuzzer具有种子队列构建、种子选择、变异策略选择/蜕变关系选择、测试用例生成、测试结果判定和覆盖分析等功能。此外,还集成了常用的面向深度学习模型的模糊测试技术、覆盖标准和变异策略/蜕变关系。

关键词： 软件测试   目标-问题-度量模型   模糊数学   测试质量   质量评价   多级模糊综合评价  

摘要： 软件测试作为保证软件质量的重要手段,越来越受到重视,软件测试时间占整个项目周期的比重也越来越高,如何评价和提高软件测试质量是一个非常重要的研究课题。聚焦软件测试质量评价的目标,提出基于目标-问题-度量(GQM)模型的多级模糊软件测试质量综合评价方法,通过GQM模型分析得到6个直接度量元和22个二级度量元,给出每个二级度量元的计算方法;在度量元和目标之间采用多级模糊综合评价方法,建立量化的软件测试质量数学评价模型;同时给出了软件测试质量评价流程,进行软件测试质量评价。所提评价方法在实际项目中进行了应用,实践证明,使用所提方法开展软件测试质量评价不仅可以量化测试质量,还能提高测试质量。

关键词： Python   软件测试   自动化测试  

摘要： 软件测试是目前发现软件中的bug从而改正程序提高软件质量的最有效方法。其特点在于工作量庞大,根据软件工程思想,通常一个软件的测试成本可以占到开发阶段总成本的30-40%。而一些特别要求质量的系统,例如航天系统的测试成本可能占到系统总成本的80-90%。所以如何提高测试的效率和质量,成了软件测试的一个关键问题。而Python是最流行的程序设计语言之一,本文探讨了如何在python环境下进行自动化测试。

关键词： 模糊测试   漏洞挖掘   软件测试   协议测试  

摘要： 随着人们对软件系统安全问题关注度的不断提升,模糊测试作为一种用于安全漏洞检测的安全测试技术,具有自动化程度高、误报率低等优点,其应用越来越广泛,地位也越来越重要。经过近些年的不断改进,模糊测试无论在技术发展上还是在应用创新上,都取得了诸多成就。首先,对模糊测试的相关概念和基本理论进行简要说明,总结了模糊测试在各领域的应用情况,针对不同领域的漏洞挖掘需求,分析得出相应的模糊测试解决方案。其次,重点总结了近几年来模糊测试的重要发展成果,包括测试工具、框架、系统及方法的改进与创新,并分析总结了各发展成果所采用的创新方法,提出的理论以及各工具、系统的优点与不足。最后,分别从协议逆向工程应用、云平台建设、新兴技术结合、模糊测试对抗技术研究及模糊测试工具集成的角度,为模糊测试下一步的研究提供了方向参考。

关键词： 人工智能安全   机器学习安全   机器学习模型测试   机器学习模型修复   软件测试   软件修复  

摘要： 近年来,以机器学习算法为代表的人工智能技术在计算机视觉、自然语言处理、语音识别等领域取得了广泛的应用,各式各样的机器学习模型为人们的生活带来了巨大的便利.机器学习模型的工作流程可以分为三个阶段.首先,模型接收人工收集或算法生成的原始数据作为输入,并通过预处理算法(如数据增强和特征提取)对数据进行预处理.随后,模型定义神经元或层的架构,并通过运算符(例如卷积和池)构建计算图.最后,模型调用机器学习框架的函数功能实现计算图并执行计算,根据模型神经元的权重计算输入数据的预测结果.在这个过程中,模型中单个神经元输出的轻微波动可能会导致完全不同的模型输出,从而带来巨大的安全风险.然而,由于对机器学习模型的固有脆弱性及其黑箱特征行为的理解不足,研究人员很难提前识别或定位这些潜在的安全风险,这为个人生命财产安全乃至国家安全带来了诸多风险和隐患.研究机器学习模型安全的相关测试与修复方法,对深刻理解模型内部风险与脆弱性、全面保障机器学习系统安全性以及促进人工智能技术的广泛应用有着重要意义.本文从不同安全测试属性出发,详细介绍了现有的机器学习模型安全测试和修复技术,总结和分析了现有研究中的不足,探讨针对机器学习模型安全的测试与修复的技术进展和未来挑战,为模型的安全应用提供了指导和参考.本文首先介绍了机器学习模型的结构组成和主要安全测试属性,随后从机器学习模型的三个组成部分即数据、算法和实现,六种模型安全相关测试属性即正确性、鲁棒性、公平性、效率、可解释性和隐私性,分析、归纳和总结了相关的测试与修复方法及技术,并探讨了现有方法的局限.最后本文讨论和展望了机器学习模型安全的测试与修复方法的主要技术挑战和发展趋势.

关键词： 软件测试   测试用例生成   聚类   进化算法  

摘要： 针对复杂软件中测试用例难生成问题,提出一种融入聚类和进化算法的软件缺陷测试方法,开发一套智能软件测试系统。首先,对被测程序采用变异测试方法注入缺陷;基于不同策略对缺陷聚类。然后,针对多个缺陷簇,建立测试用例生成问题的优化模型,并采用进化算法生成能检测缺陷的测试用例。最后,基于不同评价指标,完成软件测试报告。测试结果表明,基于测试用例检测缺陷的成功率、缺陷率,以及消耗时间和迭代次数等指标,验证了所提方法提高了检测缺陷检测率、降低了测试的时间及提高了测试用例生成的效率。由此可见,人工智能融于软件测试技术,不仅提升了软件测试效率,而且丰富人工智能应用领域。

关键词： 软件测试   问题   管理   优化  

摘要： 软件测试是指在将软件交付给用户之前,对软件需求、设计规范和相关代码进行有效的测试和评估。它是软件开发过程中必至关重要的一个环节。只有有效地实施软件测试,才能从根本上保证软件的质量和可靠性。本文分析了软件测试中存在的问题,并提出了有效的对策。

关键词： 工业软件   工业属性   软件属性   测试验证  

摘要： 工业软件是工业技术知识和软件融合的产物,既包含工业属性,又包含软件属性。然而,传统的通用软件的测试验证方法不能完全满足工业软件的测试验证需求。在研究传统通用软件测试方法的基础上,结合工业软件的特点,补充地提出了实验室测试和场景测试两类方法,为工业软件研发全生命周期的质量测试提供了方法支撑。

关键词： 快速直流开关   软件开发   软件测试  

摘要： 本文介绍了船用快速直流开关控制软件的设计开发过程,实现了断路器分断和闭合控制、过载长延时保护、短路电流保护、事件记录等基本功能,并通过软件测试验证了该软件的功能,为该类软件的开发和设计提供了参考,对于提高舰船电力系统的安全性具有实际意义。

关键词： 文档生成   知识提取   表格识别   计算机辅助写作   软件测试  

摘要： 测试文档是产品的重要组成部分,与测试数据紧密相关,且有严格的编制要求。针对以往测试文档编写中存在的重复繁琐、灵活性不高、效率低下等问题,运用数据到文本的生成理论,该文提出了一种基于知识提取的测试文档生成方法。该方法首先对原始的测试记录数据进行分析和理解,重点进行电子表格的表头识别和单元格关联关系识别,抽取出表格数据的逻辑关系;再根据规范化的测试本体,转换成规范的知识表达,形成测试知识的结构化表示并记录于测试知识库中;最后通过局部文档模板的填充,逐步形成整体的测试文档。该方法解决了灵活多变的测试记录导致的软件重复开发的一系列问题,有利于测试结果的有效利用。此外,自底向上的文档构造方式有助于按需展现内容,提高测试文档的可读性。