教学课程资源库 更多>>

关键词： 新能源汽车   软件测试   MES系统   任务分配   深度学习  

摘要： 新能源汽车工厂通过生产管理系统MES对生产线进行信息化管理，包括生产排产、场内外物料管理、场内外物流管理、仓储信息、场内工位装配物料等等，这些子系统间的信息交互非常复杂。基于敏捷开发模式的MES，子系统的频繁迭代也带来较多问题：测试组织工作效率低、测试结果质量不稳定等问题，导致的停产停线的严重生产事故。本论文对提升MES系统迭代测试效率和质量问题进行研究，重点研究测试任务分配建模方法及其对测试流程管理改进中的应用。　　论文首先采用鱼骨图分析方法和定量分析的方法对MES系统迭代测试中存在的问题进行分析，测试任务分配不合理是造成测试效率和质量低的重要因素。　　然后基于目前系统开发使用BDD软件需求描述特点，通过测试需求描述文本和历史测试记录使用自然语言处理的文本分析方法对测试任务分配中的两个问题进行研究：针对测试任务识别问题，基于测试需求采用深度学习算法建立二分类模型对测试需求进行筛选，从而更准确定位需要分配的任务，替代人工筛选;针对测试任务分配问题，基于测试用例和测试人员测试记录建立多分类模型，给出测试任务分配预测建议，以便将任务分配到具有相关经验的测试人员，提高测试质量和效率。　　最后根据将提出的测试任务筛选模型和测试任务分配模型集成到测试管理云台中，完善测试管理流程。收集了近4个月应用产生的数据，包括测试效率、自动化转化率和故障率等，验证了任务分配管理模型的有效性，提升软件迭代测试效率和交付质量。　　论文的创新点是通过构建文本分类模型，对测试需求识别和测试任务分配进行预测，替代人工测试任务分类，提升测试管理的效率和质量。论文方法对采用BDD需求描述的敏捷开发测试管理具有很好的应用参考价值。

关键词： 软件测试   软件测试过程   可视分析   过程可视化   文本数据可视化  

摘要： 随着数据可视化技术在软件测试领域的推广应用,出现了如软件测试管理系统、软件测试过程管理系统以及软件测试过程或结果可视分析辅助工具等。但是,这些系统或工具主要供开发人员进行代码分析时使用,可视化内容主要针对具体项目中的包、类、方法和代码行等,可视化呈现和分析程度有待提高。此外,当前第三方软件评测机构在测试和评审过程中均涉及大量纸质文档,分析困难,管理不便,整体工作效率低下。为解决上述问题,本文结合软件测试和可视化技术,采用从全局到局部再到细节的可视分析思路,结合多种可视化表现形式,实现了软件测试过程可视分析系统,从软件测试全过程和子过程可视分析两个角度,帮助测试人员、管理人员和评审人员等对软件测试过程、各过程关键信息以及子过程之间的关联等进行高效分析,提高软件测试的可理解性和可视分析的效率,具有较强的实际应用价值。本文主要工作体现在以下三个方面:(1)提出了软件测试过程的可视分析方法,包括可视化设计原则和要求、测试数据预处理、测试过程可视分析设计和测试报告生成。可视化设计原则和要求定义了本文系统的可视设计原则和要求;测试数据预处理实现了对源文档数据的说明、提取和数据结构的建立;测试过程可视分析设计针对可视分析任务设计了相应的视图以及交互手段;测试报告生成实现了测试报告的自定义生成和输出。该方法能帮助用户更好地进行软件测试过程的整体和局部分析,全面了解软件测试过程。(2)基于提出的可视分析方法,结合可视分析框架设计、可视分析流程设计、系统架构设计和系统界面视图设计的相关内容,设计并实现了软件测试过程可视分析系统STPVis(Software Testing Process Visualization)。该系统有效结合多种可视化技术和交互方式,从全局和局部两个维度呈现并分析软件测试基本过程和各过程主要内容,支持用户以可视化的方式对软件功能测试过程进行快速分析和深入探索。通过直观的视图帮助用户快速了解软件功能测试过程,减少用户翻阅纸质文档的时间,提高测试整体工作效率。(3)对软件测试过程可视分析系统进行了案例分析和系统测试。案例分析实现了对典型测试项目软件测试全过程和子过程的可视分析,验证了本文系统的实用性;系统测试主要包括功能测试和非功能测试,证明STPVis满足用户提出的需求,并验证了本文可视分析方法的可行性和STPVis的易用性和有效性。

关键词： 量子计算   软件测试   差分模糊测试   代码生成  

摘要： 量子软件栈是指为了完成量子计算任务所需的一套软件子系统或组件,是量子计算机系统中的开发层软件套件,提供了研究量子算法、开发量子应用的工具链,主要包括量子编程语言、量子编译器、量子模拟器和测控软件。目前围绕量子软件栈的测试工作刚刚起步,缺少成熟方法开展量子软件缺陷的检测,为保障量子计算机和量子软件的可靠运行,本文提出了一种基于语法规则设计的差分模糊测试方法,实现对量子软件栈的自动化缺陷检测,其主要研究内容如下:(1)针对当前量子软件栈测试工作中用例数量有限、多样性不足,导致被测试软件覆盖率较低,潜在缺陷难以触发的问题,本文提出了一种基于量子程序语言语法规则设计的代码生成方法。该方法通过手工总结量子程序语言的语法规则,设计代码生成模板,并结合大量API调用语句和回归测试用例进行代码生成。基于此方法构建的代码生成器能够生成随机性高、覆盖范围广、语法正确、语义丰富的高质量量子测试用例,保障了量子软件栈测试工作的稳定进行。(2)针对当前量子软件栈测试工作中结果确认环节缺失判别筛查机制导致大量误报、漏报的问题,本文提出了一种基于差分模糊测试机制的缺陷检测方法。通过在量子软件栈中执行大量随机生成测试用例,同步监控量子软件栈的异常表现,并对异常执行结果利用差分方法自动筛选,有效减少了误报、漏报带来的人力开销。该方法筛查结果准确,有助于量子软件栈测试的自动化和规模化开展。(3)为了验证上述两种方法在实际检测中的效果,本文设计并实现了一个量子软件栈模糊测试系统QuantumFuzz,利用该系统对微软公司研发的QDK(Quantum Development Kit)进行缺陷检测,成功检测出QDK的17个软件缺陷,其中包括11个量子编译器功能实现缺陷,1个量子模拟器性能缺陷,和5个标准开发文档设计缺陷,以上所有缺陷均已被微软公司的开发人员确认,大部分缺陷已被修复。

关键词： 软件测试   自适应随机测试   近似最近邻搜索   局部敏感哈希  

摘要： 随着软件的发展,软件质量成为软件提供者和使用者都非常关心的问题,软件测试作为保证软件质量的重要活动越来越被重视。随机测试(Random Testing,RT)是一种基本、有用且受到广泛的研究和应用的软件测试方法。但是RT也由于其存在的不足而广受批评,自适应随机测试(Adaptive Random Testing,ART)技术被提出以提升RT的有效性。然而ART普遍存在时间开销高、边界效应和高维有效性差的问题,严重影响了其在实践活动中的应用。因此,提出一种高效的ART方法具有重要意义。本文重点针对数值型输入的ART算法存在的性能问题,从结合哈希算法的角度切入,提出一系列快速生成测试用例的ART方法,同时进行大量的实证研究来评估所提方法的性能,最后基于所提方法设计并实现一个测试原型系统。论文主要成果总结如下:1、深入研究ART的性能问题,设计一种可拓展局部敏感哈希实现的测试用例树状数据索引结构,提出一种基于可拓展局部敏感哈希数据索引的自适应随机测试方法(Scalable Locality-Sensitive Hashing data index based ART,SLSH-ART)。SLSH-ART一方面利用可拓展局部敏感哈希树状索引结构为所有已执行测试用例建立动态索引,从而实现快速地计算每个候选测试用例在所有已执行测试用例中的近似最近邻,降低算法时间开销;另一方面利用哈希映射的特性缓解“维度灾难”影响,从而提升ART在高维的有效性。实证研究结果表明,本文提出的SLSH-ART是所有对比算法中最具成本效益的算法,在保持或显著提升经典ART算法的故障检测能力的同时,极大地降低了经典ART算法的时间开销,且对比目前最先进的ART算法的性能也有相当的可比性。2、针对SLSH-ART的不足,设计一种哈希森林数据索引结构,提出基于局部敏感哈希森林数据索引的自适应随机测试方法(Locality-Sensitive Hashing Forest data index based ART,LSHF-ART)。LSHF-ART通过LSH串联、再散列和构造索引森林三个方面来提升SLSH-ART的性能。实证研究结果表明,LSHF-ART在大多数情况下具有所有对比算法中最佳的故障检测能力,同时具有远低于经典的ART方法的时间开销,保持SLSH-ART的线性级别时间复杂度,对比目前最先进的ART算法在高维时具有显著更优的性能表现。3、设计并实现基于哈希数据索引自适应随机测试的原型系统。系统基于MVC架构,支持仿真测试和真实程序测试,实现了自动化测试的整个过程。系统包含测试设置、算法执行、算法性能评估和测试结果可视化等功能。本文使用该系统评估所提方法的性能,证明了所提算法的优越性,同时验证了系统的有效性。

关键词： 软件测试   组合测试   适应性随机测试   覆盖矩阵   精英搜索  

摘要： 软件测试作为软件质量保证的重要手段,在软件产品应用广泛的现代社会处于不可或缺的地位。面对日趋复杂的软件系统,组合测试是一种常用的测试用例生成方法。但是主流的组合测试方法通常通过是贪心或组合数学等思路来实现t-way组合全覆盖,以充分检测出软件系统中的输入配置相互作用引起的故障,这种方法往往实现较为复杂不利于算法的推广。随机测试方法(Radom Testing,RT)因其简单易实现的特点受到工业界的广泛采用,但同样因其随机性过强所导致的测试效果不佳的不足,受到众人的诟病。作为随机测试的增强版本,适应性随机测试(Adaptive Random Testing,ART)在失效检测能力的出色表现,近年来逐渐受到研究人员的追捧。在面对非数值型的大型复杂软件时,主流的适应性随机测试方法却表现的力有不逮。因此设计一种针对非数值型的大型复杂软件,并且同时具备简易与卓越的测试效果的测试用例生成方法,是测试用例生成的研究领域目前的重要问题。对于大多数的ART方法来说,被测试对象的输入域通常是数值型的,所以在距离计算时通常会采用欧式距离计算方法。面对组合测试中的这类非数值程序,一般会替换为海明距离或其他相似性度量方法。在这一类的适应性随机测试方法中,ARTsum以线性的时间复杂度以及较强的失效检测能力等优点,被工业界的研究人员所重点关注。然而与常见的组合测试方法如AETG、IPO方法相比,ARTsum算法在t-way覆盖能力上仍有所欠缺,导致算法需要更多的测试用例对被测试程序进行t-way测试。针对这种情况,本文提出了一种基于精英搜索策略的适应性随机组合测试方法(ARCTsum)。ARCTsum算法设计了一种特殊的数据结构——多维覆盖矩阵,该矩阵可以记录已测用例集的情况,并指导下一次的测试用例生成。而精英搜索策略的加入使得ARCTsum的候选集具有较高的t-way覆盖水平。基于t-way的距离计算方法,可以有效地筛选出最优秀的候选用例。为了验证算法的有效性与时间效率,本文将ARCTsum与主流的ART以及组合测试算法进行对比实验,最后将实验数据进行收集与分析。通过实验结果可知,ARCTsum算法在测试效果的实验中,在大部分的场景下均不弱于AETG算法,而且ARCTsum在时间代价上要显著优于AETG算法。不仅如此,ARCTsum在失效检测能力以及t-way覆盖能力均要显著优于主流的ART算法。并且ARCTsum以线性的时间复杂度的优势,仅次于RT与ARTsum方法。总而言之,ARCTsum算法通过三种有效的优化策略,在保证算法卓越的性能的同时,极大提升了算法的测试效果。该研究方法能够对随机测试以及组合测试的学术研究和工业应用提供一定的参考。

关键词： 软件测试   回归测试   测试用例优先级   机器学习   软件缺陷预测   即时缺陷预测  

摘要： 随着信息技术的发展，软件系统已经全面融入社会生活。而软件系统的缺陷可能会威胁到企业经济、人民甚至国家安全。软件测试是软件工程中保证软件系统质量的一项重要的基础任务，但昂贵且耗时。在使用快速迭代的软件进行测试时，受到预算和时间的限制，检查所有发布版本的内容并不可行，这可能导致测试的过早终止，导致了软件质量下降和客户满意度降低。两项非常重要的技术测试用例优先级排序和软件缺陷预测可用于解决这个问题，其关键思想都是早期故障检测。　　现有的测试用例优先级排序提供了系统的方法来重新执行以前版本的所有或部分测试用例，以验证当前版本的功能，然而，它们大多是基于历史的系统和测试信息，在实际情况中可能无效，因此在实践中仍然是一项具有挑战性的工作。另一方面，基于易于访问的历史代码，即时软件缺陷预测(Just-In-TimeSoftwareDefectPrediction,JIT-SDP)通过收集和分析软件历史代码，预测软件系统中程序模块的缺陷风险，将测试资源优先分配给缺陷风险高的模块，因此JIT-SDP可以更容易识别出现缺陷的代码更改;与模块级缺陷预测相比，JIT-SDP更侧重于更细粒度的软件实体，开发人员可以投入更少的时间和精力来审查预计有缺陷的代码更改。然而，如何构建一个高性能的即时缺陷预测模型是一个具有挑战性的问题。　　在本文中，我们提出了三种测试用例优先级策略和一种即时缺陷预测技术。主要贡献和创新如下。　　第一，提出了一种基于人工神经网络（ArtificialNeuralNetwork,ANN）的自动测试用例优先级策略，旨在模拟测试用例执行安排时测试人员的智能;我们进一步给出了一些新的影响因子和提取算法。从代码结构的角度，该方法从程序源文件中提取影响因子，基于这些因子和其他信息，我们构建了一个数据集并训练神经网络分类模型。在训练完成后，分类器能够自动为新的测试用例设置优先级。此外，我们引入了一种测试用例选择策略，它只选择与修改版本相关的测试用例，并减小测试集的规模，相应地减少测试工作和时间。实验结果表明，本方法能够在测试过程的早期发现故障，并且在故障检测率方面优于现有的最先进的方法。　　第二，提出了一种基于软件修改信息和函数调用关系的半自动测试用例优先级划分方法。该方法提供了一个框架，旨在通过自动化风险评估过程，使基于风险的测试更加系统化和灵活，并尽早发现高风险故障。该方法应用模糊专家系统，在系统风险计算过程中提出了一种新的特征“脆弱性”。首先，基于失效概率、失效影响值和脆弱性三个方法级特征计算系统方法的风险值;然后为了得到这些特征值，我们进一步提出了几个风险指示因子，并使用了一些其他方法的相关信息。测试用例最终根据系统方法（函数）的计算出的风险（风险值）进行排序。本方法适用于大规模的版本丰富的系统，并且能够将优先级放在各个软件版本的测试用例上。实验结果表明，与其他先进的方法相比，该方法对具有严重风险指标的故障具有更高的检出率，并且在不同的软件系统中性能稳定。　　第三，提出了一种基于集成学习的测试用例优先级排序方法，它是本文第一个贡献的扩展。为了验证该方法的结果，我们应用了几种有监督机器学习算法和其他相关的方法，并对其实验结果进行了比较。其中应用的机器学习算法有逻辑回归、KNN、支持向量机和集成学习AdaBoost，同时使用了前两个工作中的影响因子来学习分类模型。完成训练后，上述机器学习算法都被用来作为优先级自动设定器，以及用于对预设优先级进行重新排序器的排序器。实验结果表明，机器学习算法能够有效提高测试用例优先级的故障检测率，并且集成学习在所有方法中性能最优。　　第四，本文提出了一种基于局部模型的即时缺陷预测方法，该方法应用了过采样技术SMOTE和噪声过滤方法。我们对局部模型和全局模型进行了比较。在构建局部和全局模型之前，我们通过应用过采样技术SMOTE，噪声过滤方法最近列表噪声识别(ClosestListNoiseIdentification,CLNI)噪声过滤方法，对数据集进行了预处理，以构建一个平衡的数据集。在局部模型构建阶段，首先通过应用k-medoids聚类算法将训练数据划分为具有相似度量值的几个聚类，然后使用每个聚类中的数据单独训练每个本地模型。分别使用SVM和努力感知线性回归(Effort-AwareLinearRegression,EALR)来构建分类模型和努力感知预测模型，最后使用聚类中的本地模型对测试集中的每个实例进行缺陷预测。在六个开源项目上对局部模型和全局模型的性能进行了实验评估，结果表明本地模型能够取得比全局模型更好的结果。此外，过采样和噪声过滤技术生成的平衡数据，有助于实现更好的预测性能。　　本文所提出的几种方法都已通过应用软件和数据集进行了评估。实验结果表明，本文提出的方法能够比现有的最先进方法提高测试效率。

关键词： 软件测试   差分测试   白盒测试   神经元覆盖率   神经元覆盖系数  

摘要： 伴随着社会的进步,计算机科学已经步入了人们的生活,因此,各种各样的智能系统被应用到人们的实际生活中,如自动驾驶汽车系统等。然而,这种系统的正确性和可预测性是至关重要的,尤其在角落案例的情况下。因此如何为深度学习(Deep Learning,DL)系统自动的生成测试输入成为软件测试领域研究的重点。为了将传统软件测试方法应用到DL系统,测试方法Deep Xplore被提出来,但是,该方法存在以下两个缺陷:第一,该方法在定义不同的DNN(Deep Neuron Network)模型对于同一个测试输入表现出的差异行为时,没有考虑不同DNN模型自身还存在着差异行为;第二,在做联合优化的过程中,仅仅提高神经元覆盖率是不能够充分的指导测试输入的生成,没有需要考虑DNN中每一层的神经元的覆盖率的情况。为了解决这两个缺陷,本文重新定义了不同DNN模型之间的差异行为,还引入了神经元覆盖系数来考虑隐层神经元的覆盖情况,最后,现了一个测试输入生成、分析原型系统并进行了实验验证。实验结果表明本文定义的差异行为以及神经元覆盖系数能够获得更具有多样性的测试输入。本文的主要工作如下:(1)本文重新定义了不同DNN之间的差异行为,然后又定义了神经元覆盖系数,提出了新的DNN模型的测试框架Deep Gradient。首先,本文在定义差异行为时是先将一组测试输入输入到被测DNN中,然后通过添加特定领域的约束条件,再次输入到被测的DNN中,利用两次获得的神经元输出的差值的绝对值来衡量不同DNN模型之间的差异行为。接着,为了考虑DNN模型隐层神经元的覆盖率情况,又定义了神经元覆盖系数的概念,这样可以使得获得的测试输入更具有多样性。最后,本文将测试输入的生成问题表示为一个三个目标的优化问题,通过构建损失函数再利用梯度上升算法求解该优化问题。本文进行了一系列的实验评估了该方法,发现通过重新定义不同DNN模型之间的差异行为和引入神经元覆盖系数,确实能够产生更具有多样性的测试输入。(2)为了解决Deep Gradient框架之下的三个目标的优化问题,本研究联想到计算机领域还有更直接的多目标优化算法,因此在Deep Gradient方法的框架之下提出了DEEP-NGSA方法,该方法的引入主要是避免多个超参数的调参问题,由于在调参过程中很难找到合适的参数去求损失函数的最值。因此,利用多目标优化算法直接优化差异行为,神经元覆盖率,神经元覆盖系数就更为直接。本研究通过一系列的实验评估了该方法,该方法在维持了Deep Xplore和Deep Gradient两个方法的效率之下,同样可以生成具有多样性的测试输入,符合我们预期的目标。(3)设计并实现了基于上述两个算法和RT、Adversarial Testing和Deep Xplore的DNN模型的测试输入生成的原型系统(DNNTESTING＿SY)。本文介绍了DNNTESTING＿SY的整体架构设计和测试流程,展示了测试原型系统的界面设计,并对DNNTESTING＿SY的3个主要功能模块进行了详细的说明。调试后,DNNTESTING＿SY能够实现自动化测试。

摘要： 银行业务的发展模式在进入信息化时代后大致经历了几个阶段：从以满足政策要求或自身发展需求出发推出产品，到金融产品商品化，再到为满足不同客群要求“以客户为中心”的产品定制化。随着数字化时代的到来，客户偏好和行为发生了极大变化，银行对客服务仍靠传统的产品交付方式和效率已经难以赢得客户、流量和好评，银行正在身不由己地被卷入“以用户体验为中心”的时代。要在时空上将服务对象从原来的客户拓展为更加广泛的用户，进一步融入用户场景和社会生态，银行不得不将用户意愿体现在产品的生产制造过程中，给予用户充分行使选择的权利。而生产力决定生产关系，银行软件测试应如何跟上业务发展的步伐，体现新时代所需的价值，值得深入思考。

关键词： V2X   系统架构   软件   算法   软件测试  

摘要： 随着汽车保有量快速增长,车辆出行的安全和效率愈发重要,车联网在智能交通领域作用越来越重要。作为智能汽车和智能交通的关键支撑技术之一,V2X(Vehicle to Everything),主要包含车与车(Vehicle to Vehicle,V2V)、车与路(Vehicleto infrastructure,V2I)、车与人(Vehicletopedestrian,V2P)和车与网络(Vehicleto Network,V2N)四类应用场景,其不仅能减少交通事故,降低交通拥堵提高通行效率,减少汽车污染物的排放等。不仅如此,V2X更是实现更高级自动驾驶的重要手段,其能够弥补摄像头、雷达等车载传感器视距不足和受气象条件限制的缺陷,比如,沙尘天气或者大雨、大雾下,车载摄像机的作用就会被减弱,但V2X依然可以保持正常的工作。车辆通过V2X带来的超视距感知,可以获得实时路况、道路信息、行人信息等一系列交通信息,从而带来远距离环境信号,让车辆尽早了解前方状况,提升出行安全和效率。本论文的主要研究目标为设计开发和实现一套V2X车载设备,其具备V2X通信能力,并以V2X的三个典型预警场景,即交叉路口碰撞预警(Intersection Collision Warning,ICW),逆向超车预警(Do Not Pass Warning,DNPW)和弱势交通参与者碰撞预警(Vulnerable Road User Collision Warning,VRUCW)为实现目标展开具体论述。论文的章节以A-SPICE流程标准为参考,遵循正向开发的思路,从系统方案和需求设计为起点,针对所选取的三个V2X预警场景对该车载设备的功能需求和非功能需求进行了定义,并在软件设计章节实现ICW、DNPW、VRUCW三个场景的算法开发。在测试验证章节,搭建一套基于V2X的自动化测试方案,其包括V2X车载系统仿真测试方案和平台设计,以及基于该仿真测试平台对三个V2X预警功能进行测试场景搭建和测试验证,台架测试表明,本文提出的ICW、DNPW、VRUCW三个场景的算法满足设计要求。论文第六章在对本论文进行总结的基础上,还就V2X技术和ADAS传感器技术从成本、各自优缺点方面进行了比较论述,提出了两者的关系并非相互竞争,而是各自对实现自动驾驶所具有的独特的重要意义。结合我国目前在V2X技术上的发展规划,对该技术的推广应用和发展做了展望。

关键词： 测试需求管理   测试成熟度模型集成   能力成熟度模型集成   软件能力成熟度模型   软件测试  

摘要： 软件测试需求管理是软件需求满足、软件测试结果有效、测试效能提升的重要保证。本文分析对比了CMMI、GJB5000B和TMMi三项标准在软件测试需求管理活动中实施和改进指导的强项与不足，借鉴CMMI和GJB5000B的需求管理思想强项的，结合工程实践经验，提出了基于TMMi三级的软件测试需求管理过程，并进行应用验证。该过程可有效指导和规范软件测评实验室的软件测试需求管理活动，促使软件测试需求管理活动达到测试成熟度模型的三级要求，提高测试效能。