《中国云上软件测试成熟度调研报告》重磅发布

前不久，由云上软件工程社区、汽车云工作组联合组委会共同开展了《中国云上软件测试成熟度调研》调查，通过专家组成员前期紧张的筹备、调研以及报告的分析，最终形成了万字调研报告。

部分精华提炼

金融服务行业对软件质量异常重视，互联网金融领域对测试能力建设重视程度高。

大多数企业拥有专职的测试团队，其中22%的团队采用完全独立测试团队模式，28%的团队采用完全分散在各个研发团队模式。

环境稳定性是所有公司都面临的问题，测试环境问题与所处行业有一定的关联性。

大多数团队没有测试分析设计活动的质量效率度量评估，77%的团队有明确的测试分析设计度量指标。

提高测试效率、提高测试覆盖率、节约成本和改善软件质量控制流程是自动化测试的主要意义。

组合模型、处理周期模型、状态机模型、条件判定模型是当前测试设计常用的工程方法。

传统银行金融企业和头部互联网企业在测试人员外包方面占比较高，但测试对外包的人力依赖性在降低。

……

中国云上软件测试成熟度调研

报告概况

此次问卷共设置了39道题目，分别从基础信息、现状分析、测试管理体系、测试流程、度量和反馈、测试分析与设计、自动化测试、智能化测试、非功能测试几大模块领域进行了系统的调研和分析。

问卷收集有效数据共计500余份，受访者横跨多个城市、行业、岗位。保证全面性的同时可体现不同维度的多样性。

专家组成员

报告部分剧透

测试开发人员占全体测试人员人数的比例

图1：参与调查的测试开发人员占比

测试开发一直被看作是测试技术实力的代表，曾经也有大力鼓吹测试开发将要淘汰传统业务测试的言论，然而在真实的企业数据中测试开发的比例超过50%的也仅仅只有不到15%，如图1。一方面作为测试人员具备一定的开发能力已经逐渐成为共识，无需专门制定所谓的测试开发岗位，超过20%的企业也没有专门设定该岗位；另一方面开发测试工具的工作也逐渐由平台类工程师替代，而不仅仅面向自动化测试工具平台。当然也有接近接近一半的企业通过测试开发人员来专职完成自动化测试的工作，区分传统业务测试人员。

所在企业遇到的测试环境问题

表1：测试环境问题各行业分布表

图2：测试环境问题分类饼图

通过问卷反馈的数据进行整体分析发现，环境稳定性是所有公司都面临的问题，且所有遇到问题类型基本一致，说明环境治理的难题是软件行业通性问题。但透过数据交叉分析发现测试环境问题与所处行业有一定的关联性，比如银行保险类企业因为质量要求高，所以在基础设施投入更大服务单点部署或基础设置资源不足引发的环境问题相较于互联网和传统行业较低。但银行保险行业一般项目周期长迭代慢，存在跨地域的协同，所以遇到问题响应解决的效率较低。互联网企业在降本大背景下，因为测试基础设施资源得不到有效保障，所以基础设施导致的环境问题也会突出一些。另外团队规模越大环境问题越突出，500人以上的企业因涉及很多前中后台的协同，环境链路更长环境问题也更突出。数据有效性较差，导致测试过程常常因为数据原因（占比40.9%）。从整个环境稳定性来说，40%问题来自测试数据有效性，说明对测试环境的数据治理、隔离缺乏有效手段。数据问题也是导致测试效率较低的主要原因。建议，在保障底层基础设施稳定性的前提下，可以投入资源做好数据的隔离和治理，提升测试执行过程的幸福感和效率。互联网迭代节奏快，专项和需求集并行，数据冲突问题更严重，传统行业迭代周期长数据问题相对不那么突出。没有测试环境稳定性巡检工具，环境不稳定问题无法及时暴露（40.2%）。

从行业看40%左右的企业都缺乏环境巡检工具，导致问题不能及时暴露。团队规模越大，问题越突出。

所在团队的测试左移现状

图3：测试左移现状统计图

在调研中可以看出，在推动测试左移实践的团队有22.73%，这些测试左移的实践包含了ATDD（验收测试驱动开发）、需求的评审、开卡、验卡;有明确的开发域质量实践的团队占据了调研团队的33.55%，有将三分之一的被调研团队实施了开发域的质量保证手段，开发域的质量保证实践包含了技术债务处理、单元测试、代码评审、UTDD；同时很好的实现了测试左移的需求质量保证实践，也是实践了开发域的质量保证实践的团队占据了整个调研的16.89%，这也充分说明了质量内建理念已经开始在交付团队中落地；但是我们同样需要关注仍然有12.12%的人并不理测试左移，50.22%的团队没有实施测试左移，这仍旧占据了调研团队的多半数的团队，也说明测试左移实践被广泛接受还需更多时间。

如何评估测试分析设计活动的质量效率

图4：测试分析设计活动度量指标整体分布

从调研数据可以看出，有23%的团队没有测试分析设计活动的质量效率度量评估，有55.7%的团队选择了通过用例有效性(发现问题用例数/用例总数)评估，占比最多，说明通过测试用例发现缺陷还是对测试设计最直接的度量。有26.9%的团队选择通过用例密度(用例数/ K L O C )评估，这是将测试设计与被测软件进行了关联，不再单看缺陷发现效率，是对测试设计深度的一种有效参考维度。还有24.5%团队选择了通过用例自动化率(可自动化用例数/用例总数)评估，说明在测试设计阶段就要考虑测试执行的成本和效率，避免测试设计产生大量手工用例，无法执行完成的风险。令人欣喜的是，样本中还有提出了评审问题发现数量、用例无覆盖的缺陷占比、代码覆盖和业务逻辑覆盖及事件逃逸、在线bug率、代码覆盖率等多个指标，说明测试团队在根据自身的业务特点，探索最有效的度量指标。

智能化测试解决的软件测试问题

图5：智能化测试解决的软件测试问题选项结果分布

如图5，从调研数据中，测试用例生成（33.8%）是很多团队在智能化测试已经在解决的主要问题，显示了AI技术在生成高效测试用例方面的首要应用价值。我们看到，大语言模型在年初爆发后，白盒用例生成成为“水到渠成”的智能测试场景，也是各大技术论坛下比较火爆的命题，成为本题首选项并不意外。然而，我们同时看到其他领域如测试数据分析、被测主体分析、全自动探索型测试、测试数据生成也在AI技术实践上展现出一定比例的覆盖，相信这是在以前年度无法达到的。尤其是被测主体分析选项得票率较高，说明很多团队正在通过分析主体，为智能测试开启更多可能性，渐入深水区。笔者认为，对于被测对象自身（如项目源码、编译产物、外部依赖、代码路径、逻辑地图）的解析和认知，是进行更高层次任务的前提。

我们相信，随着后面AI落地测试领域的成本不断降低，选择第一个选项（没有应用）的将越来越少，欢迎大家持续关注本系列，拭目以待。

安全性测试考虑哪些方面

图6：安全性测试侧重点分布图

调研数据如图6所示，安全漏洞测试（50%）和认证和授权测试（45.5%）得到最高的认可度，这表明团队对于发现系统中的安全漏洞以及验证认证和授权机制的重要性有较高的认识，两者直接关系到系统和数据的安全性，对于预防潜在的安全威胁和保护系统免受未经授权的访问具有重要意义，一直是企业进行安全性测试的重中之重。

数据保护测试（40.10%）和网络安全测试（39.20%）也得到了相对较高的认可，这表明团队对于保护数据安全和网络安全同样重视，反映了团队对于数据隐私和网络攻击的关注，并意识到数据泄露和网络漏洞可能对业务造成影响。

会话管理测试（18.30%）和应急响应和恢复能力（15.30%）的认可度较低，这提示团队可能需要加强对会话管理安全性和应急响应能力的重视。从近年来大厂频发宕机的事故中，可以看出加强应急响应和恢复能力的安全性测试应引起足够的重视。

欲知更多报告分析，可添加小助手微信获取

特别鸣谢以下企业/社区/测试团队的大力支持

（以下排名不分先后）

社群：

深圳软件行业协会

CSDN

异步社区

破马张飞

AREX社区

测试窝社区