随着视听时代的不断推进,视觉特效在其中的应用也越来越广,不经加工的“裸片”几乎不存在于各大平台。从最普遍的美颜照片、美型直播到风靡一时的动起来的照片、变漫画脸、变老人小孩等等炫酷效果,视觉特效已经逐步融入人们日常生活。这些特效的背后的神秘技术就是CV-计算机视觉算法。
针对这类新兴算法要如何评测它的质量,如何在子方向多、业务发展速度快的环境下,高效高质量的找到他的优化方向,实现最佳用户体验,本次将讨论一下基于快手视觉算法特效的评测以及自动化pipeline实践。
1. CV算法的应用
2. CV算法的评测方法及痛点(效果:如何抽象评测指标,解决主观的不稳定,测试集不可重复、手动耗时长问题?)
3. 指标映射:针对不同算法方向,将业务目标映射到具体可量化的评测指标
4. 效果自动化工具 :端上驱动算法运行+算法批量量化指标。对于测试同学,单次评测平均节省65%MPD,最高80%,对开发同学节省40%MPD
5. 性能自动化: perfdog service+ ui test case。单次评测节省70%MPD
6. 竞品对比自动化:public API + 算法客观指标计算。单次竞品对比评测节省至少80%MPD
7. 质效合一:CV算法评测pipeline体系
在业务需求量大,算法方向多的场景下,算法评测自动化pipeline体系是一个高质效的尝试。
EMC – 高级软件工程师:主要负责测试工具开发
蚂蚁金服 – 高级推荐算法测试开发:主要负责支付宝红包,首页腰封推荐算法评测
快手- 音视频部门-算法和画质质量组-资深测试开发工程师:CV图像算法以及推荐算法质量方向负责人
擅长领域:算法模型评测,质量平台搭建,测试工具开发