专场:智能终端测试
搭载操作系统的智能硬件设备通常统为“智能终端”,常见的终端形态有:智能手机、智能大屏、智能音箱、智能穿戴、智能车载、AR/VR等。面向场景的多端融合正在形成新的赛道,通过软硬结合及跨端协作的技术,将用户体验从单机系统的优化向多端融合的全场景发展。
专场出品人:周志彬
小米 手机高级测试总监
2011年加入小米,组建小米手机测试团队,先后负责过平台软件、应用软件、认证、硬件验收等领域的测试工作,建立了从研发到交付的整机测试体系。牵头小米手机实验室的建设,领导了稳定性及机械手自动化测试项目。
张海峰
小米 高级软件研发工程师
先后就职于Testin,滴滴出行和小米,于2017年加入小米。目前在小米手机测试部担任高级软件研发工程师,主要负责终端自动化测试工具、框架和平台建设,致力于提高软件测试效率和质量。在公司内部曾主导多个自动化平台及工具框架的设计开发及应用落地,积极探索AI技术在自动化测试领域的应用,在终端自动化测试领域有着深入的积累和丰富的实践经验。

擅长领域:终端自动化测试
待定
待定
代码变更自动分析在整机ROM测试中的实践
随着小米业务的不断发展,MIUI操作系统变得越来越复杂。每个新版本都包含了数千条代码变更的提交,这些提交对系统的各个方面都产生了影响。对于测试人员来说,如何对这些变更进行有效的分析和测试是一个非常具有挑战性的问题。因此,我们开发了一套自动化系统,能够通过机器学习、贝叶斯推理和搜索推荐技术来预测代码变更的影响,提高测试效率和减少成本。本演讲将介绍我们开发该系统的过程和经验,以及该系统对软件质量和效能的提升。
该系统将代码变更作为输入,系统会在三个层面上输出这些变更的影响,分别是会影响到哪些手机模块、模块中的哪些功能特性、并最终推荐测试用例。我们可以将系统的优势总结为以下三个方面:
首先,该系统可以帮助测试专家输出测试策略,提高测试专家工作效率。通过对过往测试记录的训练和学习,该系统可以自动分析代码影响范围,辅助测试专家精准确定测试范围,减轻测试人员的负担,同时提高测试效率和测试质量。
其次,该系统可以应用于自动化测试,应用于CTS自动化测试,通过精准化的测试,实现了测试左移,提高效率,进行风险预警。这有助于保证产品的质量,并降低人工测试的时间和成本。
最后,该系统可以帮助不具备测试专家水平的人,或者初级人员也可以完成相关工作,从而进一步提高产品的质量和可靠性。
1. 介绍演讲主题和背景
    1)简述小米手机ROM软件测试中的挑战和自动化辅助测试分析的必要性
    2)介绍本次演讲的主题:如何通过自动化的代码变更分析来提升软件质量和测试效率
2. 问题分析和解决过程中进行的考虑
    1)分析现有测试策略的不足和瓶颈,以及优化测试策略的需求
    2)介绍如何将问题进行分解,并针对各个问题域的特点选择不同的技术进行解决
    3)介绍机器学习、贝叶斯推理和搜索推荐等技术的应用,以及这些技术如何帮助分析代码变更和预测影响特性模块
3. 技术如何抉择?
    1)模块级别分析:采用机器学习技术
          训练数据收集
          模型选择和训练:介绍如何选取合适的机器学习模型,如何选择特征和训练数据
    2)功能特性级别分析:采用贝叶斯推理
          专家知识建模:介绍如何获取专家知识,并将其建模
          推理过程:介绍贝叶斯推理的原理和应用,以及如何将它们应用于自动化代码变更分析
    3)测试用例级别分析:采用搜索推荐技术
          用例检索
          用例选择和排序
4. 遇到的坑和采取的工程实践
    1)介绍在开发和部署自动化代码变更分析系统中遇到的一些挑战和问题,如数据质量、模型性能和算法效率、结果的解释和验证等
    2)介绍如何采取工程实践来解决这些挑战和问题,如机器学习模型的部署、持续集成、容错和监控等
5. 获得的质量或效能上的收益
    1)介绍如何评估自动化代码变更分析系统的质量和效能,以及如何衡量其对测试效率和软件质量的提升作用
    2)分享实际案例和经验,以及自动化代码变更分析系统在实际项目中带来的质量和效能上的收益,例如,
         o 提高了测试分析效率,节省人力,并在同样的时间周期可以实现多轮分析
         o 拉齐测试专家分析的一致性,降低质量风险
         o 应用该能力实现在CTS测试的左移进行风险预警
6. 总结和展望
    1)总结本次演讲的内容和收获,以及自动化代码变更分析技术的应用前景
    2)展望未来,介绍该技术在软件开发和测试中的潜在应用和发展方向
以上大纲将围绕问题分析、技术抉择、工程实践和获得的收益这些方面展开,全面介绍如何通过自动化代码变更分析来提升软件测试效率和质量。
本次演讲将介绍一项关键技术,即如何通过自动分析代码变更来预测代码影响的特性模块,从而优化测试策略,提高测试效率和质量。本次演讲的听众将获得以下收益:
1. 了解如何使用机器学习和人工智能等技术来改进测试策略,提高测试效率和质量。
2. 了解如何通过自动分析代码变更来预测代码影响的特性模块,并优化测试策略,减少测试用例的冗余和不必要执行。
3. 了解如何采取工程实践来提高测试效率和质量,并获得相关案例实践的分享和经验总结。
4. 了解该技术对软件质量和效能的提升作用,以及如何应用该技术来提高软件测试的效率和质量。
通过本次演讲,听众将获得有关改进测试策略和提高测试效率和质量的实用技术和实践方法,同时还将了解该技术对软件质量和效能的提升作用,以便将其应用于实际工作中,从而提高软件开发的效率和质量,降低测试成本和风险。
内容大纲
听众收益
许小丽
中科创达 测试总监
1. 中科创达软件股份有限公司 测试总监 涉及终端/穿戴/车机/物联网领域的项目  
2. 华米科技 测试总监 涉及穿戴领域的项目

擅长领域:从事软硬件测试工作17年,涉及的产品有智能终端、穿戴、车机互联等。擅长专项测试方向研究,涵盖认证专项、兼容性专项,软硬件结合专项,协议专项,自动化专项,算法专项,健康专项,多媒体专项等,目前参与OpenHarmony兼容性工作组工作。
待定
待定
穿戴设备测试左移之工程实践
1. 穿戴互联互通场景要解决的问题:
 协议类问题
稳定性问题
内存泄漏问题
容错问题
安全性问题
性能问题
2. 痛点分析和解决中进行了哪些思考
手机APP、跑步机、穿戴设备三者连接的方式有哪些,需要测试哪些设备的兼容性
手机APP、跑步机、穿戴设备三者数据的同步机制是什么,会同步哪些数据,断连后,各方是如何处理这些数据的,设备和APP已开启的运动是如何处理的
手机APP、跑步机、穿戴设备三者断连后,短时间回连后,数据同步的机制和逻辑,运动距离等是否有影响
手机APP、跑步机、穿戴设备三者连接后,各种外来事件是否对连接和数据同步有影响
手机APP、跑步机、穿戴设备三者断开回连后,各方是如何处理数据的
三方连接后涉及到哪些安全性测试
哪些功能长时间压测可能产生问题,或存在内存泄漏
哪些性能参数是用户比较关注的
遇到的坑:
1. 协议类问题
        蓝牙设备连接类问题(搜索不到、连接不上、无法回连等)
        用户数据不能同步
2. 稳定性问题
        压力测试后,蓝牙断连后无法回连
        压力测试后跑步机开启运动后,穿戴设备不进入运动
3. 内存泄漏问题
        跑步机开启关闭运动后,穿戴设备心率出现内存泄漏
        长时间基本功能测试后,穿戴设备系统、运动发生内存泄漏
4. 容错问题
        运动过程中,跑步机和穿戴蓝牙断连后,穿戴无法结束运动
5. 安全性
        跑步机连接穿戴设备后,显示的名称非上市产品名称,显示研发阶段的项目命名
6. 性能问题
        互联绑定速度慢
        互联拉锯不达标
工程实践(测试左移)涵盖多款穿戴项目实施
1. 专项左移测试(涵盖协议、功能、性能、稳定性、兼容性、安全性)
2. 场景化互联互通测试(涵盖容错)
3. 上层应用集成前的单元接口测试、模块互通测试
4. T0阶段的硬件专项测试,保证硬件条件满足软件搭载及后续迭代需求
5. 硬件差异性性能摸底测试、确保软件对各类sensor、元器件的兼容
6. 前期需求评审,功能价值及可实现性讨论,在日益复杂的功能需求、用户收益及成本间保持相对平衡
7. 市场痛点的爬取及前期产品用户反馈收集,扩展用例方案并组织项目内评审
1. 由穿戴互联的测试策略和工程实践,引入到其他终端测试借鉴与参考
2. 穿戴互联场景越来越广泛,蓝牙连接稳定性会成为用户极为重视的体验,此经验可借鉴,避免用户体验的问题流入到市场
听众收益
内容大纲
张薇
理想汽车 智能空间质量测试总监
2017-2023 理想汽车 智能空间 质量测试总监
负责理想汽车各款车型智能空间全业务域(128个业务模块)的测试交付,及智能空间质量管理(质量流程及交付质量管理);团队规模115人,包括:测试交付,自动化开发及质量管理三条业务线;测试交付团队负责智能空间域所有业务的测试方案,测试策略及测试交付活动,并不断提升测试团队的交付能效;自动化开发团队,研究前沿测试技术,并进行技术转化给测试交付团队赋能,让测试团队不断吸取最新技术提升测试效能和交付质量;质量管理,负责构建智能空间研发交付的质量管理体系,搭建流程,和度量标准,管控所有交付版本的质量;

2011-2016 索尼移动 测试经理
负责索尼手机各款机型三方应用的开发及交付测试管理;负责规划测试计划和策略,管理测试交付过程活动,确保按质量交付;
2009-2010 诺基亚 测试项目经理
负责诺基亚手机产品线测试质量管理,建立测试流程,准入准出标准,过程管理,缺陷收敛和交付质量的把控;

2003-2008 NEC中国 测试主管
负责NEC在中国销售机型的三条产品线11款机型的测试交付,规划测试计划,建立测试策略,测试过程管理,交付质量把控。

擅长领域:智能终端测试,自动化测试,数字化质量管理
待定
待定
智能汽车智能空间的自动化测试技术运用和实践经验
如何将自动化测试真正应用到测试工作中,产生真正的价值,真正达到提高人效,而不是停留在自动化覆盖率这个数字上;很多公司,单独看自动化能力对于业务的覆盖率并不低,但是用不起来,会发现测试活动中,仍然有大部分工作是人工去做的,花了很多精力开发的自动化,却只能做稳定性测试,冒烟测试等高重复操作的用例,投入产出比不成正比;究竟如何制定自动化的发展目标,用什么样的策略,才能真正达到自动化取代人工测试呢,是当今业界一直在探索的课题,自动化测试这个领域,能自动化进行测试是最简单的一步,真正难的是如果让自动化测试全面取代人,占据绝大部分测试活动,真正做到自动化交付,颠覆式提效,才是最难的,也最具有实际价值,面对日益加快的交付节奏,必须想办法把自动化真正用起来,全面取代人工,才有可能先提效再提升交付质量,同时让测试人员的职业发展道路更宽广,而解决问题的关键有时候往往要跳出来问题本身,而站在全局去看,自动化解决方案也是如此,要想全面使用自动化,要从打造自动化能力本身这个维度跳出来,看全局,测试生命周期全过程各活动的自动化程度,测试策略的规划,打通所有研测系统,甚至包括脚本的编写方式等,都是至关重要的一环。因此,自动化测试的关键点不在自动化本身,而是测试模式的规划。
1. 自动化测试在当前智能座舱领域,应用的程度如何?
  (理想汽车智能空间当前包括娱乐域应用、车辆功能应用、AI、全车OTA、通信协议、系统能力等共计128个业务单元,自动化覆盖率可达85%,日常60%的任务由自动化执行,40%的缺陷由自动化发现,智能空间研发团队和测试团队的人员规模:所有业务平均研测比达到8:1,最高达到10:1;)
2. 如何从0到1构建智能座舱的自动化测试能力?
  (1)智能座舱的自动化有什么特点?和消费类电子(手机,pad)有什么不同?
  (2)自研还是外采,怎么选择?
  (3)自动化技术选型,开发模式如何确定?
  (4)脚本编写模式选型(什么样的编辑方式,可以让测试团队全员都轻松上手)
  (5)低成本规模化部署硬件(智能座舱设备的高昂造价,怎么破)
  (6)端云一体化的自动化系统怎么搭建,需要具备什么能力?
  (7)智能座舱功能高自动化率覆盖,所需的自动化能力有哪些?
理想汽车智能空间目前具140种自动化能力,覆盖全智能空间业务领域;
  (8)以上开发过程中,遇到过的技术难题,踩过的坑都有哪些,最终如何决策并克服困难完成能力建设?
3. 自动化测试技术如何运用在智能座舱的测试中?
  (1)分解测试人员的测试工作,锁定自动化替代部分
  (2)结合智能座舱的产品特性,自动化测试场景如何挖掘:固定路径的遍历,无固定路径的探索式的遍历
  (3)如何高自动化占比完成日常的所有测试活动?
  (4)运用自动化技术的过程中,会经历哪些阶段,会碰哪些壁,怎么克服,怎么决策,怎么突破
4. 
智能空间的自动化技术的未来如何发展?
1. 自动化技术怎么选型?
2. 自动化系统如何构建?
3. 智能座舱高自动化覆盖率,需要多少种类自动化能力?
4. 智能座舱自动化实验室什么样,怎么低成本规模化部署?
5. 用什么样的脚本编写方式,可以让测试团队全员掌握自动化技术?
6. 自动化测试场景如何定义,如何挖掘
7. 自动化如何提升人效,进而产生质量价值
8. 智能座舱自动化测试技术的未来发展
内容大纲
听众收益
董金超
科大讯飞  首席声学测试专家
目前任职于科大讯飞,担任集团首席声学测试专家,在AI终端声学及其相关领域有着8年从业经验,测试技术研究方向主要包含声频分析技术、声音质量评价、声学环境理论等。在所擅长的测试技术方向有着丰富的经验沉淀,主导过讯飞AI教育、医疗、消费者、工业等多条赛道智能终端产品的声性能研发测试效能提升,对研发质量、声品质测评有深刻的理解和应用实践。

擅长领域:声器件性能评估选型、声品质主客观评价方法、声环境建设理论、语音交互效果评测、通信质量测试等;
待定
待定
AI终端声效果一线测试实践及探索
在智能家居和教育健康产品的快速迭代下,用户从最初对声音需求的可用性逐步向好用性和舒适性过渡,声音作为传输信息的关键载体,其在通信、娱乐、教育等领域都有广泛的应用。声品质对于产品的差异化和用户体验的提升起着十分重要的作用。讯飞作为语音交互国家标准的制定者,在智能语音方面有着浓厚的技术探索以及评测方案的积累,我们结合产品交付一线实际问题和经验,介绍包括声环境的建设、声品质的主客观感知、声系统的测试搭建在内的AI 终端声效果一线测试实践及探索。
讯飞的核心是智能语音,产品品类众多,语音效果评测方法和标准直接影响着产品声质量的高低。结合在项目交付上遇到的一些问题,通过分析后给出的相应解决方案。我们一步步在声质量保障方面做了很多工作。测试是品质的护城河,希望可以把测试的思路、落地方案等跟大家一起交流讨论。
1. 背景介绍;
2. AI终端产品音频评测架构;
3. 声学环境建设理论探索;
4. 声品质交付的实战思路;
声环境建设理论探索;
从设计前端到用户终端如何保障产品声学体验质量。
内容大纲
听众收益
关注QECon公众号
议题投稿
Speaker@qecon.net    
票务联系
15901265561  小娟
媒体合作
13516196409  皮皮
商务合作
15122643988  木子