中国信息通信研究院泰尔终端实验室互联网与软件部主任,信息产业通信软件测评中心常务副主任,中国信息通信研究院先进计算领域副主席。 长期从事通信软件测评、标准和测试方法的研究,互联网及移动互联网应用测试方法和测试系统的研究和开发,以及软件和电信业务监管支撑工作。在信通院安全研究所工作期间,从事软件及业务应用安全标准和测试方法的研究及行业监管支撑工作。 
同时负责快手内容生产、平台技术质量等方向团队。10年+多媒体经验,赛道从通信光传输行业、终端手机相机到短视频内容。擅长画质和图像算法、音视频算法、CV、语音、智能生产、搜索等方向,长期致力于多媒体体验和效能提升,提供极致用户体验。
专场出品人:戈志勇
专场出品人:高婷
中国信息通信研究院先进计算领域副主席、泰尔终端实验室互联网与软件部主任
快手 多媒体质效中心负责人

专场:新兴测试  

我们不仅处在Cloud时代,也处在智能的时代、万物互联的时代,一些新型的应用如雨后春笋般快速成长起来,如人脸识别、区块链应用、物联网、5G等。面对这些应用,传统的测试方法可能不再有效,需要重新研究新的测试方法或工具,来对症下药,完成智能系统测试、区块链测试、IoT测试、5G测试等,确保系统安全可靠。
1. CV算法的应用
2. CV算法的评测方法及痛点(效果:如何抽象评测指标,解决主观的不稳定,测试集不可重复、手动耗时长问题?)
3. 指标映射:针对不同算法方向,将业务目标映射到具体可量化的评测指标
4. 效果自动化工具 :端上驱动算法运行+算法批量量化指标。对于测试同学,单次评测平均节省65%MPD,最高80%,对开发同学节省40%MPD
5. 性能自动化: perfdog service+ ui test case。单次评测节省70%MPD
6. 竞品对比自动化:public API + 算法客观指标计算。单次竞品对比评测节省至少80%MPD
7. 质效合一:CV算法评测pipeline体系
在业务需求量大,算法方向多的场景下,算法评测自动化pipeline体系是一个高质效的尝试。
俞明利
快手  VC算法质量负责人
曾任EMC – 高级软件工程师:主要负责测试工具开发;蚂蚁金服 – 高级推荐算法测试开发:主要负责支付宝红包,首页腰封推荐算法评测。现任快手 - 音视频部门 - 算法和画质质量组 - 资深测试开发工程师:CV图像算法以及推荐算法质量方向负责人。

擅长领域:算法模型评测,质量平台搭建,测试工具开发 。
待定
待定
计算机视觉算法模型评测及自动化pipeline实践
随着视听时代的不断推进,视觉特效在其中的应用也越来越广,不经加工的“裸片”几乎不存在于各大平台。从最普遍的美颜照片、美型直播到风靡一时的动起来的照片、变漫画脸、变老人小孩等等炫酷效果,视觉特效已经逐步融入人们日常生活。这些特效的背后的神秘技术就是CV-计算机视觉算法。
针对这类新兴算法要如何评测它的质量,如何在子方向多、业务发展速度快的环境下,高效高质量的找到他的优化方向,实现最佳用户体验,本次将讨论一下基于快手视觉算法特效的评测以及自动化pipeline实践。 
内容大纲
听众收益
1. 图像链路的风险
1.1图像传感器其接收的是光的能量,不同场景有着不同光源能量,不同波段能量的变化造就千变万化的拍摄场景;相机模组结构从诞生之日起就未发生重大变革,造成相机画质差异的主要原因来自于各部件的硬件差异及制程工艺。
1.2图像信号处理,ISP掌管着图像的曝光、色彩、清晰度等表现,即便相同的模组硬件,经过不通的ISP tuning会呈现截然不同的画质表现。
1.3标准相机接口,与主机厂沟通的主要桥梁,对应接口、参数的设置将会获得质量迥异的图像素材。
1.4显示逻辑可简单理解为相机成像的逆向工程,同样会涉及图像显示校正以及显示硬件的的映射效果,把数字信号转换为光信号。
2. 如何制定标准测试方案(标定基础影响因素,做到测试可重复、可量化、可感知) 测评
2.1生产质量挑战与实践
拍摄光源如何模拟、场景如何标定---常规光源定性采集,多通道设备模拟。
要做到可量化、可感知,基础主客观质量如何对应---人眼感知参数对应,标定图卡指标量化。
应对快速画质调整验证,需要怎样的调试工具辅助---相机输出参数及编码参数的实时监测与调试,对应数据抓取本地验证。
2.2编解码质量挑战与实践
帧间、帧内不同复杂度测试素材库如何创建?线上素材库如何筛选---图像建模软件辅助运用,根据线上大盘模拟创建不同复杂度测试素材。
版本迭代画质监控如何进行---代码逻辑梳理,实现最短测试路径,结合大盘用户高价值操作形成高效且高质的测试集;利用自动化手段实现版本间视频帧内及帧间的画质监控。
线上画质质量如何监控如何进行---自研基础美学及无参质量模型。
2.3上屏质量挑战与实践
HDR视频质量如何保障---需要结合用户使用创新屏上画质测试。
技术升级裹挟着时代进步,全民进入一个动态影像的时代;作为基础载体,动态影像毫无争议地成为这个影像时代的根基,一切多媒体的应用与玩法皆离不开基础影像质量的保障;同时影像技术的发展,8k、hdr等技术时刻训练着用户的主观感知,主观质量的提升已经从必备属性逐步向期望属性转变,当提供此需求,用户满意度会提升,当不提供此需求,用户满意度会降低。
普及画质基础评估指标及评估思路;养成全链路画质评估思维。
刘人豪
快手  画质评测专家
先后就职于小米相机画质团队,负责中国、印度基础画质测试团队搭建,ODM画质测评团队管理,dxo、vcx测试平台搭建;快手音视频质量实验室,拍摄质量评估,图像实验室及测试方案升级。

擅长领域:相机画质评估,熟悉dxo、imatest、IE等测试体系,国内画质测试实验室、测试设备、方案及标准。
待定
待定
快手端到端基础画质保障
内容大纲
听众收益
1. 智能语音算法的发展路径,人工智能行业领域近些年的发展,60年代,90年代,声学模型+语言模型,端到端模型...
2. 目前智能语音算法以及业务测试的痛点,缺乏规范测试集和评价手段(自测和训练效果好,实际落地效果差),缺乏定位手段(语音识别链路长,如何定位问题?)
3. 快手语音算法质量评测介绍:评测指标、评测工具和方法
4. 快手语音服务质量评测介绍:同上
5. 快手移动端语音产品评测介绍:同上
每部分加案例介绍
短视频时代,普惠创作者的语音应用越来越广泛:自动字幕、直播助手、自动剪辑、智能配音等等。如何进行语音效果的度量,更好地支持语音相关业务的发展也越来越迫切。那么语音质量评估应该如何做?语音应用场景和待解决的问题有哪些?语音评测的纬度和方法是什么?如何工程化地实现评估体系?在实际业务中的落地应用?本次主要分享快手语音质量评估方向上的探索与初步成果。
1. 普及快手在音视频领域的测试思维
2. 丰富人工智能模型、算法等的测试思路
3. 从用户角度出发如何优化算法落地效果
马永飞
快手  语音算法质量负责人
曾任云知声语音测试开发经理、易诚高科语音测试部总监、海尔优家智能语音测试经理,现任快手语音算法质量负责人。

擅长领域:语音识别算法测试开发、语义理解算法测试开发、语音合成算法测试开发、智能语音识别全链路测试、车载智能设备测试
待定
待定
语音质量评测体系建设
内容大纲
听众收益
本站使用百度智能门户搭建 管理登录