测试与图像识别

活动时间： 2016年3月16日 QQ群视频交流

活动介绍： TMQ在线沙龙第十七期分享

本次分享的主题是：测试与图像识别

共有43位测试小伙伴报名参加活动，在线观看视频人数 28人~想知道活动分享了啥吗？往下看吧！

活动嘉宾

嘉宾简介

朱伟鸿，腾讯测试工程师，现在腾讯手机管家测试团队负责KingRoot软件的测试工作，主要负责高级权限部分的功能以及性能的测试。对高权限应用软件的测试测试有着深入了解。

分享主题

• 什么是图像识别
• 图像识别中所运用要的算法
• 如何运用图像识别进行测试

问答环节

( 1) 问题：请问为什么要使用图像识别的方法来写测试脚本？和普通的基于页面元素获取的脚本相比，有什么优缺点？

答：与基于页面基本元素的脚本相比，用图像识别的方法的使用场景可以更多样化，因为它不用基于uiautomator，所以能在H5以及游戏的测试上使用。它只是需要截取屏幕，然后再实现一个坐标点击的方法即可达到基于页面基本元素能做到的事情。

(2)提问：怎么验证测试结果（也就是怎么写assert）？

答：在测试过程中因crash或运行结束导致工具退出都会有一个返回值，可以通过错误来进行assert。

(3) 遇到登录等需要输入的情况，如何处理?

答：登陆这个可以通过预先给定登陆的图片，在点击做好判断，如果遇到登陆窗口，则在对应位置输入账号和密码即可。

(4) 问题：判断是否节点遍历过是通过图片识别计算的？页面互相跳转怎么解？

节点的遍历与跳转是通过图像识别的方法来进行计算的，主要是判读截图是否有变化来断定当前页面是否有跳转。

(5) 去除偏离大部队的噪点，具体如何实施？

答：偏离大部队的噪点可以采用聚类或者区均值的方法来判断，当前采用的是取均值然后再去除离开均值太多的点，然后再取一次均值来达到。

(6) 执行性能怎么判断？

答：如果是手机的性能则可在软件运行过程中实时获取性能信息来达到，如果是PC的性能，暂时这个不考虑。

(7) 提问：如果是同一个页面 有两个或者多个相同的图片，能否找到指定的图片，举个例子：评论部分，有多条评论，每个评论都有一个点赞按钮，我想找第几个的点赞按钮，判断按钮的状态。这种可以实现么？

答：对于一个页面中出现两个一样的图片，的确是会导致判断失效，但可以通过页面裁剪的方法，可以从上往下逐步去找，也可以从中心往外扩散去找，通过这样来依次进行匹配。

(8) 图像遍历输入的特征码是什么，不同的控件特征码如何区分？

答：遍历的特征码有两个，一是canny得到的轮廓中心点，一个是uiautomator得到的isclickable等于true的点。不同控件的特征码暂时不做区分。

(9) candy的轮廓与view.xml识别的控件有重合区域，怎么判重？

答：如果两个有重合的区域有两种方法可以去掉，第一软件会取出相近只有几个象数的点，第二如果uiautomator如果被canny轮廓包围了，这个区域是会被排除的。

(10)两次进入这个页面，健康分从99变成100，是算同一个页面还是两个页面？

答：是否判断为一个页面是通过图片相似度来判断，只要按照业务需要对阈值进行调整即可。

( 11)基于图像识别，怎么判断关键点，是否可以点击。是否存在找出的关键点，不可点击，如何绕过

答：基于图像识别其实不需要关注关键点可否点击，有的时候有些位置往往不可点击，但由于设计出来比较特别，往往也会有较多用户去点，所以暂时没必要去判断该点是否点击。

(12)能不能通过一个截图， 整个页面的一部分进行对比 而不是整个页面进行对比

答：可以做到的，第一可以通过sift来匹配，看能是否匹配得到，第二也可以用从小及大的方法来进行匹配。

获奖名单

ID：周欣 270***823

恭喜以上一位同学获得TMQ本次沙龙活动听众奖；

本次奖品是由TMQ 官方出品《移动APP性能评测与优化》新书哦