教学课程资源库 更多>>

摘要： 大商所飞泰测试技术有限公司软件测试中心实验室(以下简称实验室)于2011年4月顺利通过中国合格评定国家认可委员会(CNAS)认可,证书编号:CNAS L5294,2021年完成了CNAS换版复评。经过10年的平稳运行,实验室在人才队伍、测试设备、测试范围等方面有了长足的发展。实验室现有人员33人,均具有本科以上学历,核心人员均拥有国际软件测试工程师认证(ISTQB)和期货从业资格认证,多人拥有RFT、LR、QTP、QC、PMP等认证,形成了一支高水平的专业测试队伍。同时,实验室已具备测试平台独立、内外网、测试工具与被测系统隔离等条件,构筑了安全、可靠的测试环境;独立测试设备18台,测试范围已涵盖功能、性能、自动化、可靠性、安全性测试等所有关键测试领域。

关键词： 软件测试人员   绩效考核体系   KRIF绩效考核指标模式  

摘要： 随着我国软件产业的发展,信息技术的应用,客户对软件的功能、性能、可靠性、易用性和安全性要求越来越高,已经不再满足于曾经的“能用”,而是要求“好用”。加之对国外软件测试先进经验的深入学习和引进,企业越来越重视软件的质量,软件测试这项工作也越来越重要。因此,通过建立良好竞争性的绩效考核体系,有效地激发软件测试人员的工作积极性显得尤为重要。本文在调研汇总了H公司软件测试人员的考核内容、考核周期和考核方法、考核主体和考核流程、考核结果的反馈与应用的基础上,针对软件测试人员存在绩优员工离职率高、绩效结果与员工实际表现不对等、员工工作积极性低等现象,采用问卷调查法和访谈法,对H公司的中高层管理人员、人力资源部工作人员和软件测试人员对现有绩效考核体系的认知进行了调研。发现H公司软件测试人员绩效考核体系存在考核方法不适用、考核指标不合理、考核环节不完整、考核结果没有充分应用等问题。在现状和问题分析的基础上,明确了优化的原则、目标、思路后,对H公司软件测试人员绩效考核体系进行了优化,具体内容包括提出了采用KRIF与360度相结合的考核方法;设计测试人员的绩效考核指标;完善测试人员的绩效考核流程;设计测试人员的绩效考核结果应用方案。本文通过对H公司软件测试人员绩效考核体系进行优化研究,形成了完整有效的考核指标体系。该体系可为本公司软件测试人员绩效考核提供行之有效的方法支持,实现H公司的良性发展,促进企业战略目标的实现以及企业与员工的共同成长。该体系也为同类型的互联网企业在绩效考核方面提供了重要的借鉴和参考价值。

关键词： 动态符号执行   模糊测试   混合测试   分层强化学习  

摘要： 软件测试作为保证功能交付,提前发现软件项目问题的主要手段日益受到学术界和产业界的重视,自动化软件测试是其中一个热门领域。自动化软件测试技术通过程序分析等方式,不断生成测试用例执行程序,目的主要是覆盖尽可能多的程序路径以及发现能够导致程序崩溃的漏洞。基于覆盖率引导的模糊测试与动态符号执行作为两大主流的自动化软件测试技术已被广泛研究并应用到学术界与工业界中,这两种技术有明显的特点:模糊测试通过对测试用例变异来生成新的测试用例,效率高但测试用例的可靠性一般。动态符号执行根据路径约束取反生成可靠的测试用例,但面临路径爆炸和约束求解器的限制,而且生成测试用例的代价较高。搜索策略的设计在一定程度上缓解了路径爆炸,但大多数搜索策略都由人工设计并且在测试过程中不可变。也有学者将动态符号执行与模糊测试相结合,称为混合测试,以突破它们各自的局限。但目前混合测试主要由两种方法轮替执行,缺乏灵活性。强化学习场景中智能体根据环境的反馈不断调整的策略,可用于动态符号执行搜索策略的设计。分层强化学习框架能够出色的解决控制转移问题,可用于混合测试算法的设计。在强化学习算法的启发下,本文提出了一种基于分层强化学习的混合测试算法LCCT(Learnable Cooperative Concolic Testing),主要工作内容如下:(1)将动态符号执行过程抽象为马尔可夫决策过程,定义动态符号执行器并使用强化学习算法学习条件取反策略。执行器状态为测试用例已覆盖分支组成的程序执行树,动作空间为执行树中所有可以取反的条件分支节点。选择取反节点时,执行器将路径序列的嵌入表达作为当前状态的部分表示,使用DDQN算法对路径上所有可取反的动作进行价值预测,最后根据改进的(?)-greedy策略选择取反节点生成当前时刻的测试用例。环境根据执行测试用例后的新增分支覆盖数和生成时间反馈奖励,执行器根据奖励优化状态动作价值预测函数。(2)为了突破动态符号执行的固有局限,引入模糊测试执行器作为动态符号执行器的补充,使用分层强化学习框架通过协调器控制两个执行器,算法命名为LCCT。LCCT由顶层协调器和底层执行器组成,协调器的状态为测试用例覆盖分支组成程序执行树的统计量,动作空间为模糊测试执行器以及动态符号执行器。协调器使用DQN算法进行价值预测并根据(?)-greedy策略选择执行器生成测试用例,最后根据测试用例的表现优化状态价值预测函数。LCCT通过引入模糊测试执行器避免动态符号执行器陷入局部最优并降低了路径爆炸影响。通过协调器让执行器之间灵活切换。同时还根据执行器各自的特点进行数据传输,提高了整体算法的效率。(3)将动态符号执行器以及LCCT算法与目前主流的动态符号执行策略Chameleon等在expat等一系列开源程序上进行实验测试。实验结果表明,动态符号执行器优于当前的大部分固定策略,LCCT的表现优于动态符号执行器,并且在部分程序上覆盖了最多的分支。

关键词： 软件测试   服务模拟   接口访问   工作流引擎  

摘要： 随着软件规模的扩大,系统复杂性的提高,微服务、SOA等分布式架构软件逐渐流行。此类系统将复杂的业务逻辑进行拆分,形成多个功能单一的子服务或子模块,使得程序逻辑更为清晰,易于开发和维护;同时,拆分后组件对硬件要求低,易于部署和更新。此类分布式架构带来开发和管理便利的同时,也因接口数量多,调用流程复杂,业务变更频繁,给测试带来了压力。现有的测试方法与工具,在面对此类软件数量众多、关系复杂的接口时,并没有很好的解决方法。如何将多个功能有限的接口按照业务流程通信和协作,组成更大粒度、更强功能的服务,并对服务进行测试,是目前软件接口测试领域的一个重要前沿问题。针对上述问题,本文设计并实现了一个面向工作流程的服务调用模拟测试系统,针对分布式架构软件中接口的顺序、分支、选择等流程组合情况,对服务进行调用模拟,以完成对整个软件系统的接口测试。具体工作如下:(1)针对分布式架构接口测试问题提出了基于工作流模型进行服务流程建模及接口测试的方案。该方案基于Open API3.0接口规范设计了针对接口关键特征的接口模型,对接口进行统一建模描述;基于BPMN2.0规范设计了接口流程编排规则,将相关接口按需组合为一个完整业务流程,解决被测服务中存在复杂的接口流程组合情况和调用协作关系的问题。(2)基于该方案,设计并实现了一个基于Web的面向工作流程的服务调用模拟测试系统。系统前端通过图形化界面提供接口组合功能以及接口模型配置功能;系统后端实现了一个针对服务流程调用的定制化工作流引擎,能够对服务流程图进行读取、验证和存储,实现对多个接口组成的服务进行流程测试,同时实现了并发测试功能,能对被测系统进行多线程压力测试。(3)通过对面向工作流程的服务调用模拟测试系统的接口访问、流程引擎和并发测试模块的案例测试,检验了系统的接口组合编排、流程测试功能和并发测试功能,验证了本文方案和工具的正确性和有效性。

关键词： 航天软件   文本匹配   自然语言处理   测试用例复用  

摘要： 随着中国空间科技的进一步发展，空间应用进入了全新的时代。随着航天任务量不断增加，各种航天型号任务中软件所占的比重越来越大，软件执行的任务也越来越重。软件的质量对航天型号的产品的正常运行有着至关重要的保障作用，保障软件系统的质量与安全性显得尤为关键，而软件测试工作是整个项目发展中必不可少且是至关重要的一环。尤其在航天领域，安全性和可靠性尤为重要，小的失误会造成巨大的损失，这也必然导致对航天软件测试工作的高要求高标准。为保障航天软件安全性和可靠性要求，测试人员在测试过程中需编写大量测试用例，且对于复杂的航天软件测试设计过程较为复杂。测试用例复用技术是利用历史积累的测试数据进行新的测试的方法，针对航天软件结构性强，相似功能模块多的特点，该方法可以很好的解决上述航天软件测试效率的问题，所以本文结合自然语言处理技术实现了航天软件测试用例复用。主要工作如下:　　(1)实现基于自然语言处理的航天软件需求规格说明预处理技术。实现测试用例复用的前提是具备规格化的测试资源，因此本论文提出针对航天软件的需求文档预处理流程，包括航天软件停用词库的建立、文本清洗、需求文档标准化等流程。　　(2)针对目前基于文本相似度的测试用例复用技术中语义信息缺失的问题，本论文提出在实现文本向量化及基本特征提取后采用深度语义模型进一步提取语义信息。本论文选取ESIM模型进行实验验证，并整理工程数据集验证了模型在工程数据上的有效性，最后选择SiasemeNet模型进行对比实验验证模型对准确率等评价指标的提升效果，实验结果表明ESIM模型在文本匹配方面具有更好的效果。　　(3)构建航天软件知识库，软件测试用例复用的一个重要前提是构建出完备且规范的知识库，本论文结合航天软件需求文档的特点，实现航天软件知识库构建并对需求文档及测试用例进行结构化存储，进而实现测试用例的复用。　　通过对以上内容的研究，本课题实现了利用自然语言处理中的文本匹配技术对需求文档进行处理及匹配。在自然语言处理过程中选择了深度语义匹配模型中的交互型模型ESIM，并验证了该模型在工程数据上的有效性，通过模型优化提高了匹配的准确率，达到预期效果。

关键词： jBPM4.4框架子系统   软件测试   教务管理信息系统   软件可靠性增长模型   软件体系结构分析工具   RSA工作流管理系统  

摘要： 针对工作流管理系统(Workflow Management System,Wf MS)框架子系统质量问题,本文以jBPM4.4(java Business Process Management)开源工作流软件平台的框架子系统为具体研究目标,基于软件测试方法分析该子系统软件体系结构,并设计和实现了相应的分析工具,同时将该工具应用于教务管理信息系统(Educational Management Information System,EMIS)和RSA工作流管理系统(Workflow Management System for RSA,Wf MS4RSA)中,具体完成以下几个方面的工作:(1)通过对jBPM4.4框架子系统源码的分析,对其软件体系结构的特征进行说明。框架子系统,即为了实现主控子系统、日志子系统、建模子系统之间的关联关系,而形成的软件代码所组成的子系统。本文运用面向对象(Object-Oriented,OO)方法,从源码的角度利用软件工程逆向工程的方法和思想进行分析研究,获取框架子系统源码的软件体系结构特征。(2)利用软件测试技术,依据上述特征,设计并开发软件体系结构分析工具,利用该分析工具,对框架子系统软件体系结构进行分析研究,将分析研究结果通过软件可靠性增长模型(Software Reliability Growth Model,SRGM)进行建模,分析并总结建模结果,将建模结果作为后续相关应用软件的框架子系统软件体系结构比较的基准。(3)利用上述分析工具,本文以基于jBPM4.4的两个应用软件EMIS和Wf MS4RSA为例,通过对二者的框架子系统进行测试,根据测试结果,利用SRGM进行建模。通过对比,便于二者的框架子系统软件体系结构改进,并得出具体的改进方案。实施改进方案的实验结果表明,该工具具有一定的优化框架子系统软件体系结构的作用。

摘要： 随着信创产业的蓬勃发展,基于Iaa S国产云平台软件测技术的研究日益受到关注,云平台性能好坏将直接影响到云服务的质量。本文首先分析了Iaa S的概念和内涵,接着从物理服务器、虚拟机、策略、系统、安全5个层面详细阐述了Iaa S层的测试功能,分析了其主要技术测试点,最后展望了基于Iaa S国产云平台软件测试需要尽快解决的关键问题,以期为Iaa S测试的相关研究提供了有益的探索。

关键词： 软件测试   Oracle问题   蜕变测试   蜕变关系   机器学习  

摘要： 随着信息化程度的日益提高,计算机软件已经被广泛应用于技术产业和国民生活的各个方面,软件系统的规模和复杂程度也在不断提高。软件测试作为提高软件质量、保证软件可靠性的重要手段,在软件开发过程中发挥着重要作用。在众多软件测试技术中,蜕变测试(Metamorphic Testing,MT)作为能有效减轻软件测试中预期输出问题压力的测试技术,目前被广泛应用在人工智能、搜索引擎等缺乏测试预言(Test Oracle)的软件系统的测试活动中。但蜕变关系(Metamorphic Relation,MR)作为蜕变测试技术的关键,往往需要软件测试人员在理解程序的需求规约基础上获取,且难以完全自动化地识别。因此,如何简便、高效地为程序构造出多样化的蜕变关系已成为蜕变测试研究领域的热点问题。现有的众多蜕变关系识别与生成方法中,基于机器学习技术的蜕变关系预测方法近年来得到了较多研究者的关注。其中,蜕变关系预测方法MRpredT使用文本挖掘技术对程序的注释进行处理,并利用处理后的注释文本信息衡量程序之间的相似性,以此达到蜕变关系重用的目的,实验结果表明该方法在对矩阵操作程序进行蜕变关系预测时有着不俗的表现。在MRpredT方法的基础上,本文首先从提高蜕变关系预测效果的角度出发,提出了 MRpredCC 方法(Metamorphic Relation Prediction based on Code and Comments),该方法综合考虑了充分挖掘程序代码与注释两部分信息,以此来提高程序相似性计算效率。随后从提高数据集程序多样性的角度出发,在原本只针对矩阵操作的程序集中增加推荐系统等机器学习程序,以衡量MRpredCC方法的蜕变关系预测效果。最后,为了能使得MRpredCC方法性能最佳,本文分别开展实验从四种候选相似性计算方法和四种候选分类器模型中选择最优的相似性算法和分类模型。此外,为了验证MRpredCC方法的有效性,本文开展了详实的实证分析,实验结果表明,相较于MRpredT方法,MRpredCC方法在蜕变关系预测中具有更好的预测效果。蜕变关系的自动化识别与生成技术有助于测试人员应用蜕变测试技术对软件产品进行有效测试,通过代替复杂的人工识别蜕变关系来节省大量的时间和开销。本文通过改进MRpredT方法的程序相似性计算策略提出了 MRpredCC方法,将对蜕变关系生成技术研究和应用提供一定的参考。

关键词： 测试数据自动生成   遗传算法   模拟退火算法  

摘要： 在整个软件开发的过程中,软件的开发和测试是重要的环节,且具备相辅相成的作用。在开发期间,一般是由测试人员负责手工编写测试用例,所以测试用例对开发内容的覆盖不够全面,测试工作的效率也相对较低。因此,如何加快自动生成测试用例是摆在开发者面前的一道绕不开的“考题”。针对于上述问题,本文提出一种改进的模拟退火遗传算法(Simulated Annealing Genetic Algorithm,SAGA)辅助生成测试数据,新算法的改进思想为:首先提出一种新的路径相似度计算,并将其加入到适应度函数的计算中,对个体的评价更为精确;其次围绕交叉算子选取多点交叉算法,以及对变异算子采用自适应变异,并在选择操作中加入了精英保留策略,避免最优个体在进化中因其他操作而遭到破坏;最后将改进好的算法与模拟退火算法充分结合,在新算法当中应用Bolztmann机制,避免出现早熟与局部最优解,使收敛的速度更快,达到最优。本文先使用四个基准程序和一个实际程序,分别从运行时间、最优迭代次数及最优解产生个数三个层面与相关其他学者的研究结果进行对比分析,来验证SAGA在生成测试用例效率问题中的可靠性和有效性。而后,以某软件公司的测试环境为实际背景,开发了测试用例生成系统,在系统中使用SAGA算法,取得了较好的应用效果,表明了新算法的优越性。

关键词： 软件测试   自适应随机测试   有利点划分与约束   近似最近邻搜索  

摘要： 日益增长的软件产业产出带来了如何保证软件质量的思考。软件测试作为验证和保障软件质量的主要技术手段,成为了整个软件生命周期中重要的一环。随机测试是一种简单高效的测试用例生成方法被广泛应用,但直接摒弃了那些已执行测试用例信息,这导致了其有效性的降低。自适应随机测试作为一种增强版本得到了很大程度的关注。本文将从整个输入域的划分与搜索的角度,使用有利点划分与约束策略指导自适应随机测试的测试用例生成过程。同时,通过一系列仿真和真实程序实验对所提出方法的性质与应用场景进行了验证、探讨与分析。总体来说,论文的主要研究内容和贡献如下:(1)通过对于经典自适应随机测试方法的深入研究,在进行了大量的文献分析和总结后发现自适应随机测试面临的挑战包括:测试用例生成的时间开销庞大、高维输入域下错误检测能力一般。为此提出了一种基于有利点划分与约束多维输入域空间的自适应随机测试方法。通过使用有利点划分与约束策略,定义了对于输入域空间的划分形式,并将整个输入域空间的最近邻搜索过程约束到了空间的某一个子区域内进行。同时,提出了一种动态的有利点树结构用于匹配自适应随机测试算法的动态过程,通过节点更新策略可以支持测试用例动态插入。通过实验,证明了所提出算法在保证传统自适应随机测试算法和最近提出的高效自适应随机测试算法在低维的测试有效性的同时,进一步提升算法在高维的错误检测能力。(2)在保证对于测试效率影响不大的前提下,为进一步提升基于有利点划分与约束的自适应随机测试方法的错误检测能力,设计并提出了基于多有利点划分与约束的自适应随机测试方法,并根据“单树多点”和“多树多点”两种策略进行了实现。“单树多点”在动态有利点树的基础上进行进一步改进,实现节点二分,一方面扩大了树结构的测试用例存储能力,另一方面进一步扩大算法的近似最近邻查找能力。“多树多点”则引入两棵动态有利点树形成约束森林,最终进一步限制候选测试用例的近似最近邻的出现范围。通过仿真和真实程序实验发现,这两种策略都可以在降低自适应随机测试算法时间开销的同时,进一步从不同方面提升了单有利点条件下算法错误检测能力。(3)设计并实现了一个基于自适应随机测试算法的测试原型系统。系统以自动化的方式实现了测试对象确定、程序变异、测试算法执行、测试用例生成、数据分析与展示等功能。进一步验证了所提出的基于(多)有利点划分与约束的自适应随机测试方法的性能。