专场:智能测试 

在智能的时代,不局限于传统的测试技术和工具,而是会借助自然语言处理(NLP)技术、图像识别、语音识别、知识图谱等技术开发智能测试工具,提高测试覆盖率和测试效率;也借助深度学习、迁移学习来构建测试模型实现测试用例、测试数据等自动生成,从而实现彻底的自动化测试;也可以通过领域知识图谱工程、代码深度分析等,实现质量风险分析、精准测试、缺陷定位等工作。

东南大学计算机毕业,2008年加入阿里巴巴,先后负责杭州广告,搜索,数据平台,天猫的测试负责人,阿里新零售技术质量部高级总监,阿里巴巴技术风险负责人,连续五年阿里双十一技术大队长。
拥有16年IT管理经验、统筹过多个千万级别用户的移动互联网产品研发和运营推广,具备全方位的移动互联网产品经验,对移动互联网有深刻理解。历任Testin云测技术副总裁、CTO、现任Testin云测总裁一职。曾获评“2014 TOP50最具价值CTO”、“融智库第一届理事会常务理事”、“2017年度中国IT年度人物杰出CTO”等奖项。
出品人:霜波
出品人:徐琨 
阿里巴巴 企业智能高级总监  
Testin云测总裁
在移动端测试中,我们常常会遇到这些问题:
1. 测试效率低,一次测试任务可能要执行几个小时甚至十几个小时,传统的测试手段往往是通过jenkins并行执行多个job,实现并行测试,提高效率,但是可维护性差。测试效率还是会阻塞在执行最慢的设备上。如何能够动态地实时地进行测试任务的调度与分配?
2. 设备管理难,目前比较普遍的设备管理手段是“云真机”平台,但是云真机平台存在设备利用率低,使用不方便,新款机型资源紧张等问题,对于比较壕的公司可以用上百台设备来搭建。如何让我们的设备既可以让手工测试的人员在平时进行功能测试,闲暇时可以灵活的调用来进行自动化测试任务,最大限度的保证设备的利用率?
3. 稳定性差,受限于移动设备的特性,设备长时间使用会出现连接异常(如adb offline),设备故障(如设备死机)等问题。如何彻底解决设备连接问题,不再需要人工插拔重启,如何让个别设备故障不对整体测试产生影响?
4. 准确性差,对于移动端UI测试来说,非常依赖测试设备的状态(运行是否稳定),测试环境(网络信号状况)等。如果要实现7x24小时的功能监控,该如何提高准确性,减少误报警?
5. 易用性差,传统自动化测试的实现往往需要具有代码能力的开发人员完成,对于手工人员来说门槛较高,如何让手工测试人员可以轻松实现自动化测试,减少人力投入?

解题思路:
1. 搭建基于分布式思想的测试平台,进行测试设备管理,测试用例管理,测试任务管理,测试执行调度等,利用分布式系统的并行性,实时性,动态性,容错性等提高测试效率,测试稳定性,测试准确性。
2. 开发完全基于Android端实现的测试工具,让测试直接在设备上执行,adb不稳定那我们就弃用它!同时测试工具作为分布式系统的节点服务实现对平台调度的响应。
3. 应用AI技术已成为目前测试领域突破传统测试瓶颈的有效手段,在平台中集成图像识别,ocr识别,asr识别能力,来满足更多基于视觉效果,语音效果的测试场景。
为了让测试自动化实现更加简单,让手工测试人员能够自行完成自动化测试用例的实现,我们基于NLP技术实现了从自然语言到自动测试用例的翻译能力。
1. 分布式测试系统介绍
(1)系统架构(需要画图阐述)
(2)交互流程(需要画图阐述)
2. 测试平台功能介绍
(1)如何便捷地进行用例管理
(2)如何实时的进行任务调度
(3)如何高效的进行设备管理
3. 测试工具介绍
(1)工具的实现理念
(2)工具的主要功能
(3)工具的优缺点
4. AI技术应用
(1)图像识别 与 ocr
(2)语音识别
(3)NLP技术
5. 总结与展望
实现这样一套分布式测试系统的成本可以说非常低,测试工具(就是一个apk)安装即用,测试平台(python+tornado+前端)也是源码拿来即用,唯一需要自行实现的是数据库(mysql)的配置。
杨立凯
小米集团 技术委员会 人工智能部
高级软件开发工程师
曾在诺基亚、华为等公司工作。2018年加入小米,负责小爱同学App 自动化测试体系建设。
致力于建设高效、便捷、易用、稳定的移动端测试体系探索AI技术在测试中落地。

擅长领域:移动端自动化测试,AI技术在测试中应用。
待定
待定
移动端分布式智能测试系统实践
内容大纲
听众收益
华为30研发积累大量测试资产,测试分析闭环等环节内容繁琐,工作量大,闭环缓慢。用AI使能测试分析过程,端到端提升测试分析效率。
传统的测试日志分析工具,存在以下问题:准确率低,不能根据用户反馈动态优化模型。
本次分享的CLAIM测试日志智能分析框架,在传统AI分析过程中加入了强化学习和主动学习,提升分析准确率、分析执行效率以及分析率,同时降低数据标记成本。上线以来,在华为公司内部落地*+产品线,每天分析日志**w+条,大幅度提升测试分析效率。
1. 华为公司30年在测试领域的深厚沉淀。
2. 利用强化学习动态的调整模型的评估结果,提升模型的准确率。
3. 利用主动学习进行有针对性的高效标注。
马宇驰
华为云 华为云 研发智能博士军团Leader 
智能化算法技术专家 
2019至今 华为云:智能研发博士军团Leader,智能化算法技术专家
2017-2019 华为
2012 实验室:AI算法科学家、主任工程师

擅长领域:AI,研发
待定
待定
测试日志智能分析实践
内容大纲
听众收益
cherry driver 采用录制为主,以舍弃兼容性的方式换取更可靠的功能验证,支持录制多重校验,原生js语句,插件开发,无痕运行,debug调试,批量运行, 云端服务器部署。配合cherry ui auto(樱桃)即可0成本,一键免安装部署使用ui自动化。
解决目前ui自动化接入困难,学习成本高,个人难以构建持续可用的自动化测试项目。
自动化脚本调试复杂,人员技术要求高,工具环境依赖安装复杂,页面版本api支持不稳定
技术是灵活,多变的,把相同的技术放到不同的场景往往能碰撞出别致的花火。
周源
京东零售 技术效能部 效能提升负责人
担任京东数科,广告通用技术研发部,效能提升负责人,开发了多款自动化测试辅助应用octopus(八爪鱼) 设备iot自动化独创指令多机回放,远程无需root,多语言支持。cherry driver(樱桃驱动)
ui自动化引擎,支持跨平台使用、多语言调度、无痕、批量同步运行、云端运行,其中录制采用独创的多浏览器验证功能,保证录制脚本无需修改即可运行。

擅长领域: 自动化测试,设备iot控制,服务搭建治理。
待定
待定
Cherry Driver高级智能UI自动化驱动引擎实现
内容大纲
听众收益
1. 基于纯视觉的控件识别。
2. 多层次控件检测和去重。
3. 图文多模态状态抽象。
4. 基于强化学习的探索策略。
1. 了解探索测试方法和技术解决方案。
2. 分享融合AI和视觉技术打造全新的探索测试方案,给大家带来一些新的启发。
孟维智
冉德智
阿里巴巴 测试开发专家
北京大学 计算机科学图灵班
目前在淘系技术质量团队负责手机淘宝消息业务质量保障工作,并一直在探索测试领域创新。

擅长领域:智能化测试算法、用户体验评测
于2021年毕业于北京大学计算级科学图灵班,获理学学士学位和拔尖专业未名学士荣誉学位,现为北京大学信息科学技术学院图灵计划一年级博士生。他的研究兴趣包括软件工程,软件安全与强化学习,特别是智能化软件测试。
待定
待定
基于融合AI技术实现的智能探索测试
移动APP具有越来越丰富的产品和功能,复杂的业务逻辑和海量多变的用户路径给上线质量保障带来很大的挑战,往往因为没有覆盖测试到某些特殊场景导致出现线上功能问题。目前端到端的功能自动化测试工具大都是以“逐步执行、单点验证”的模式运行,维护成本高且很难在项目中快速广泛应用,而利用手工探索式测试、Monkey等方式也难以保障成本和覆盖。因此,亟需一套更加智能的自动探索测试方法来提升探索测试效率和提高测试覆盖率。本次分享主要介绍手淘技术质量团队通过引入强化学习、深度学习等AI技术实现基于纯视觉的智能化探索测试方案。
内容大纲
听众收益
快搭智能设计是依托于酷家乐海量优秀设计师方案产生的方案自动设计应用,通过样板间+算法实现设计师时间的零门槛零成本复制放大,让每一个不懂设计的导购、销售都具备快速出设计方案的能力,在我们的智能设计业务测试中,最核心的一项工作是评估算法实际效果,但面临的挑战有:
1) 测试集样板不可枚举,即无法穷举所有的场景,包括所有的样板间户型和方案户型,以及在这个户型下的所有的软装,硬装,定制家具组合;所以如何实现尽可能多的真实样本集作为测试集?
2) 业务规则在不断细化,使得部分结果不可预知,效果好坏评估依赖人工主观判断;而测试同学不一定具备行业产品的业务判断能力时,如何确保算法效果的准确性?
3) 算法不断迭代,如何确保和衡量每次迭代的效果都是向着优化的方向走,而不是算法效果退化的方向?本次分享将介绍我们团队在这几个方面的探索实践,如何通过搭建“酷家乐智能设计AI算法的效果评测体系”来应对这些挑战,以及当前取得的实际收益和我们的后续进一步的规划和突破点。
大纲主要是以下几点:
1.业务背景介绍 (酷家乐智能设计工具快搭的业务使用场景和大体的实现原理)
问题分析及解决: 智能设计算法保障难点(针对业务特点,在算法效果评测上遇到的难点和挑战)
问题分析及解决: 解决思路 (介绍如何争对难点厘清解决思路,应对挑战,通过搭建评测系统+配套流程)
问题分析及解决: 实现效果 (实际算法迭代过程中的使用和效果展现)
总结:当前收益&未来规划 (体系上线一年运行的实际对业务产生的价值,以及后续我们需要继续深入突破的点)
算法效果评测是算法测试质量保障的重要部分,希望通过我们的分享给大家在算法测试中如何搭建算法评测体系提供一些经验借鉴,尤其是类似与我们这样偏行业主观判断为主的算法效果测试同行,在如何更好的建设算法评测系统,保障算法迭代质量上提供一些启示。
应晓芳
酷家乐质量效能部 exabrain测试经理
2019年加入酷家乐质量效能部,担任智能设计,大数据,搜索等业务的测试负责人。拥有超过 11年的软件开发及测试经验,并从 2019年至今,负责 AI 算法测试,一直探索 AI 算法测试体系的建设。
2009-2019,阿里巴巴旗下淘宝、天猫、菜鸟事业群从事测试开发和平台开发约10年。

擅长领域:
1.针对业务测试痛点搭建测试工具提测测试效率
2.在大数据,中间件,智能算法测试上有丰富的质量保障实践。
待定
待定
酷家乐智能设计AI算法的效果评测体系搭建
内容大纲
听众收益
本站使用百度智能门户搭建 管理登录