注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

网易杭研自动组

快乐耕耘,收获成长!

 
 
 

日志

 
 

手工测试、页面自动化、底层自动化--PK之我见  

2011-02-15 23:41:39|  分类: 自动测试 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

作者:雷蓓蓓

 

根据当前杭研的形势,新产品仍然在不断增加,且功能改版和各种小更新非常频繁,所以,此时手工测试的最大优点(应变能力强)能得以发挥其重要的作用。手工测试还是占主导地位,发现的BUG比页面自动化测试和接口测试发现的BUG多得多。

但我们必须看到,未来随着一些核心产品逐步趋于稳定,手工测试的投入产出比将逐渐下降,产品内部代码优化与重构相对增加,回归测试的需求明显增大。大量的重复劳动,将会带来生产效率低下,以及进一步给团队带来倦怠情绪,影响测试质量及团队发展。

本文中对几种测试类型的优劣做了详细的分析与对比,希望能够更好应对帮助改善目前的测试现状。

 

1、手工测试:

优势:

  1. 学习门槛低,上手快;
  2. 界面体验性和感光性强;
  3. 人的学习能力及适应能力强,能有效应对业务的快速变化;
  4. 想象力强,能够进行深入或广泛的探索性测试;

劣势:

  1. 日复一日的重复劳动,会使手工测试人员倦怠,从而更容易产生线上遗漏;
  2. 被测系统在一个日常中哪怕只是改动了十行代码,而需要回归相当比例的用例且不放心是否有遗漏;
  3. 手工测试除了对业务知识有沉淀以外,增强了眼力和体力的同时,在测试执行过程中少有可复用的沉淀;
  4. 对被测系统代码逻辑不了解,属于黑盒测试,对被测系统代码逻辑覆盖情况不了解,需要开发人员配合评估回归点;

 

2、页面自动化:

优势:

  1. 对于一些重复性高的用例,能够提高测试效率;
  2. 自动化测试具有一致性和可重复性,能够更好地重现软件缺陷;
  3. 从最终用户角度出发的测试,集成度更高;
  4. 辅助回归测试时,可减少测试过程中的疏忽和错误,增强产品的信任度;

劣势:

  1. 页面元素复杂繁多,对产品稳定性依赖较高,界面频繁变动时,需要经常维护;
  2. 在浏览器中执行,容易因各种突发情况或网络问题失效;
  3. 结果验证过程,比较困难且不稳定,有较大挑战;
  4. 测试时需等待真实页面加载,执行过程时间相对较长;
  5. 工具本身无想象力,完全依赖于测试设计质量,发现的缺陷比手工测试少得多;
  6. 在短期内不会对效率提升有明显的效果,只有长期坚持才能见到一定效果;

 

3、底层自动化(单元/接口测试等):

优势:

  1. 执行过程不依赖于页面,相对较为稳定,维护成本低;
  2. 执行效率高,运行时间短;
  3. 结果验证相对简单且精确;
  4. 代码覆盖率,业务逻辑覆盖率较为直观;
  5. 易于扩展测试的广度和深度,如更容易做异常测试等;
  6. 加强对代码的了解,提高测试人员对回归点的评估能力;

劣势:

  1. 不是直接面向客户的测试,无法完整测试到UI界面功能;
  2. 工具本身无想象力,完全依赖于测试设计质量;
  3. 对编程能力有一定要求,学习门槛相对较高;
  4. 测试框架设计技术相关积累较少;

 

结论

之前我们在页面自动化方面有着比较多的探索和实践,在博客、相册、印象派项目的实施过程中,形成了相对成熟的框架平台体系、测试用例设计的相关积累等。对一些周期较长的稳定项目,用页面自动化实现回归集,作为一种最终的质量保障手段是很有意义的。

但我们必须看到,页面自动化的各种先天缺陷,如稳定性差,导致其应用范围受限,根据经验,实现优先级major以上的正常流程回归用例就可以了。个人认为,结合我们的现状,底层自动化测试作为一种更加稳定高效的测试方式,与页面自动化可以起到互补的作用,应该作为下一阶段的发展重点!

 

2011年,自动组将和各系统组一道,加强在底层自动化方面的探索和实践,更好地服务测试,期待大家的交流。


广告:蓓蓓的生活微博,欢迎加我~

  评论这张
 
阅读(344)| 评论(1)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018