目前负责淘系的消息基础平台、互动业务,也曾负责千牛商家平台、服务市场、无人超市、未来酒店等场景的质量保障。有丰富的线上和线下测试经验,主攻智能化测试方向,探索 UEE(User E2E Experience Testing)测试及融合AI测试等新模式。在加入阿里巴巴之前,就职于中国工商银行软件开发中心杭州测试部担任高级经理,并有多项发明专利。
专场出品人:金晖 
前阿里巴巴淘系  高级测试开发专家

专场:测试自动化      

今天,测试自动化成了团队的标配,同时,我们面对新型应用架构,需要采取新的技术或新的策略,如基于容器技术和K8S构建新型的、分布式的自动化测试框架、测试中台,测试虚拟化、服务化,自动化测试效率也需要持续提升等。
大部分公司的业务团队往往面临繁重的业务交付压力,这样势必在自动化平台建设方面会难以投入太多经历,但自动化实践对业务测试帮助和提升又非常直接,怎样去平衡呢?
带着这样的问题,将分享我所在的业务团队,在自动化实践上踩过的坑,以及最后我们找到的一条适合我们的道路:建设基于代码生成的模板化自动化测试框架,降低平台建设成本,紧抓我们的业务痛点,以有效落地为目标,走出一条带有业务团队特色的自动化建设之路。
1. 业务团队自动化落地中的问题(业务压力大、没时间、以手工为主、自动化落地程度低、自动化测试平台使用效果差等)
2. 走带有业务团队特色的自动化建设之路(建设基于代码生成的模板化自动化测试框架,降低平台建设成本,紧抓我们的业务痛点,以有效落地为目标,走出一条带有业务团队特色的自动化建设之路)
3. 基于代码生成的模板化自动化测试框架思路介绍(首先考虑复杂业务场景实现需求,采用基于代码的自动化测试框架。然后为降低代码维护成本,引入代码生成+模板方式,持续优化自建的代码框架,既满足复杂业务场景的测试需求,又可兼具良好的维护性,很好的提升自动化在业务团队的落地)
4. 自动化测试框架技术架构介绍(基于SpringBoot+freemarker+TestNG为主搭建的自动化测试框架,特色功能:常用测试工具类、灵活的代码生成模板、带有测试思路的case生成、web界面维护+脚本维护的双融合设计)
5. 落地效果评估(以结果为导向,注重测试有效性,评估目前这套方案是否真正给业务测试团队带来质量和效率上的提升)

1. 为业务团队自动化建设指路:不过于盲目追求自动化平台建设,而应更加注重在有限的人力成本投入下,自动化测试给业务测试带来的实际效果,即自动化有效性。
2. 自动化实践避坑指导:结合实际业务团队自动化建设中遇到的问题,替大家趟趟坑,给正在建设自己团队自动化平台的同学一些方向和思路上的指引。
3. 分享基于代码生成的模板化自动化测试框架落地实践经验:该框架采用Java语言,核心框架采用SpringBoot+freemarker+TestNG实现,封装很多易用的工具类,易于结合被测系统,实现更复杂的业务自动化测试;并且该框架基于代码生成+用例模板,可极大降低维护成本。

刘刚
京东科技 测试架构师
2020.3-至今:现任京东科技测试架构师,负责企业生态部的敏捷建设、自动化落地、部门质量效能量化等工作。
2017.12-2020.2:凡普金科,资深测试开发工程师,金融PAAS平台的测试负责人,主导团队的CICD流水线自动化体系建设、敏捷测试实战、推动集团QA社区建设等。
2017.5-2017.12:猎鹰全球国际电子商务有限公司,自动化测试Leader,主要负责部门自动化建设,主要涵盖接口自动化、UI自动化、性能测试等,并主导部门测试流程的改进。
2016.3-2017.5:怡和祥云科技有限公司,测试经理,负责质量团队日常管理,并负责产品敏捷流程建设,交付项目的流程规范建设,以及质量团队的接口测试、性能压测、UI自动化、安全测试等方面的落地。
2010.4-2015.7:先后外派大连银行、中国银行、工商银行,担任外协经理,主要负责项目交付和团队日常管理。

擅长领域:技术上有丰富的接口自动化、性能、UI 自动化及安全测试经验,并建设优化过多种自动化框架,测试管理上有丰富的测试架构体系建设经验、敏捷测试管理经验及CICD实施经验,主要负责过大型银行项目、电商物流平台、私有云平台、支付平台等系统的综合测试工作。
待定
待定
基于代码生成的模板化快捷自动化测试实践
内容大纲
听众收益
在API领域有几大推动力在促进行业的快速发展:
1.技术变革的推动力:由公有云和微服务架构的发展,让软件逐步拆解为微服务架构,而拆分微服务的过程中就会产生大量的API,围绕着API的管理需求也就快速成长起来。
2.团队管理的推动力:由于技术变革导致API数量大量增长,我们发现API的链条开始变得很长,甚至比代码管理的链条还长,我们不仅需要管理API的设计、研发,还需要管理测试、对接等团队协作的工作,甚至API发布上线之后,我们还需要管理通过API的流量来保障API的安全、性能和稳定性,因此API涉及到的人员也更多,那怎么让围绕API的相关人员能够高效的合作就是一个大问题。
3.企业服务交付方式改变的推动力,因为API是一个数据和服务的标准载体,几乎所有的互联网服务都通过API的方式来传输和交易,因此API是有强资产属性的,随着越来越多的企业使用API,并且通过API提供服务,这样明确的商业供求关系也推动了API行业在未来相当长时间的持续增长。

但是在这样的背景下,我们发现大量的API研发和测试过程中的痛点:

1.多个API工具的数据难以打通,比如API文档管理用Swagger、Word或者Wiki,测试用Postman,Mock自己写脚本,压力测试用Jmeter或Loadrunner,公司内部每个项目团队都有自己的使用习惯,甚至一个项目内部可以同时存在多个API管理工具,多个工具之间数据无法真正打通,无法高效地维护API信息和团队协作。
2.API文档编写繁琐、设计不规范、更新不及时、缺乏统一文档格式等,简写、漏写或不写详细说明,导致API文档的可读性很差,也没有办法做快速分享。
3.没有版本管理,缺乏变更通知,不知道API在什么时候被什么人改了什么地方,影响了什么系统或模块。
4.测试人员难以维护测试用例,大量使用脚本的方式写自动化测试,学习、编写和维护的成本都很高。

因此前端、后端、测试、运维等经常由于API的设计、开发、对接、测试和发布等工作引发争论,导致协作低效,频繁出问题。

而本次议题则是在API资产被越来越多开发者和企业重视的情况下,我们如何做好API的全生命周期管理以及自动化测试。
1.API研发管理与自动化测试的痛点与难点
2.API全生命周期管理的流程设计
3.API研发管理产品的设计
4.API自动化测试产品的设计
5.创新点与难点的介绍
部分最佳实践介绍
了解API全生命周期管理的基本概念、获得部分行业的最佳实践,API自动化测试的实现思路,、能够落地的解决方案、以及预期效果等
刘昊臻
Eolink CEO
Linux & Linux Tars基金会成员
广东工业大学特聘教师(面向研究生,计算机技术及企业管理方向)
2017-至今 广州银云信息科技有限公司,CEO
2015-2016佛山财富信息技,CTO
2013-2016深圳波纹聚联网络科,CEO

擅长领域:
API全生命周期管管理、研发效能、产品战略
待定
待定
围绕API团队协作与自动化测试之技术实践
内容大纲
听众收益
主要解决基于wda的iOS自动化测试在接入设备增多后,wda稳定性降低, 启动失败、断连、连接超时概率增高;随着测试场景复杂度的增加自动化测试效率降低;自动化测试脚本验证点局限于元素属性校验,不具备视觉和听觉校验能力; 受测试手段和测试效率限制,无法在端上开开展有效的云端服务关键链路监控等方面的问题
1. 小爱同学iOS端基于wda的自动化测试成果
2. 遇到的问题
3. 基于逆向开发技术的自动化测试解决方案
4. 产生的收益
获取除了WebDriverAgent以外的另一种iOS自动化测试思路
周希
小米  集团技术委员会 研发能力中心
高级测试开发工程师
2019年加入小米,一直从事小爱同学APP及蓝牙终端 项目自动化测试工作

擅长领域:移动端自动化测试, AI、逆向等技术在测试领域的应用
待定
待定
基于逆向的iOS自动化测试实践
内容大纲
听众收益
要解决的问题及痛点:
1- 业务场景通过人工梳理往往会有遗漏
2- 测试的业务覆盖率难以度量
3- 梳理出来的场景进而实现自动化,成本和耗时较高
思考的方向:
如何用历史的线上数据挖掘出特征及场景、进行测试覆盖率的衡量,也基于线上场景自动构建自动化的能力,降低线上场景回归成本

1. 针对线上历史数据进行场景特征挖掘的实践 -- 新颖思路
2. 基于线上挖掘的场景进行回归场景集推荐 -- 新方法
3. 如何构建场景回归的数据依赖 -- 新方法或新思路
4. 自动执行主干链路的编排 -- 新工具
5. 自动化场景基于线上场景增量的分析和不断迭代更新 -- 新实践
6. 通用自动化的校验能力 -- 新方法
质量方面收益:可以尽可能全的覆盖线上的业务场景,提升测试场景覆盖率
效率方面收益:链路自动化的编写成本降低80%以上

启发、借鉴
李钦伟
阿里巴巴盒马鲜生 高级测试开发专家
2015.4~至今,阿里巴巴,前后在菜鸟、盒马负责整体物流中台质量建设
2011.7~2015.4 趋势科技中国研发中心,主要负责WFRM、DLP、IMSS、IMSVA等产品测试开发工作

擅长领域:MDT(模型驱动测试)、自动化测试、项目管理
待定
待定
场景模型驱动测试在自动化中的实践
内容大纲
听众收益
随着持续交付以及DevOps理念的深入人心,自动化测试建设作为提升持续交付成熟度核心的一环,已经逐步成为各个QA团队的主要工作。但是随着自动化测试不断的用例积累以及领域扩张,其价值和应用效果却越来越难衡量。我们需要有符合实际的方法论来评估自动化测试的成熟度,指导团队分析如何进行下一步的自动化建设。本话题将分享相关的实践经验和演进历程。
1. 自动化测试建设的发展阶段及目标
        自动化测试ROI的非线性
        自动化分层模型的建立依据
        自动化建设发展阶段的划分
        各阶段的建设目标
2. 自动化测试运营评估模型的演进
        自动化测试运营评估模型的价值导向
        随着阶段变化,运营评估模型的逐步演进
        评估模型在各个阶段的使用效果
3. 迭代覆盖率在分层测试中的实践
        覆盖率是当前评估测试效果的主要手段,但在流水线中执行了单测、手工测试、接口自动化测试、场景自动化测试等多层的测试工作,需要依赖迭代覆盖率来评估整体的测试效果,以减少冗余测试。
4. 基于风险的质量保障展望
        对交付效率的极致诉求,以及测试全覆盖的高成本,促使变更风险分析工具的诞生,准出的依据逐步从高覆盖率向降低风险演进,在保障质量底线的同时,大大提升测试效率。

1. 了解自动化测试发展阶段的划分原理,以及各个阶段的建设目标
2. 通过真实案例了解自动化测试运营评估模型在各个阶段发挥的价值
3. 了解使用迭代覆盖率来评估整体测试效果的方法,以及如何避免冗余测试
4. 了解变更风险分析工具在质量保证过程中的意义以及实现方式
李玮
美团 测试开发专家
具有多年持续交付及自动化测试相关的平台建设经验,目前在美团担任工程质量部门的自动化测试负责人

擅长领域:自动化测试架构、质量可视化及过程效率改进
待定
待定
自动化测试评估模型的实践和演进
内容大纲
听众收益