注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

网易杭研自动组

快乐耕耘,收获成长!

 
 
 

日志

 
 

自动化的那些事儿(一)  

2010-12-31 20:38:04|  分类: 自动测试 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

自动化 de 那些               作者:蓓蓓


(这里所讨论的自动化,泛指所有使用工具来协助测试的测试方法和手段,而非狭义的自动功能测试。)


第一篇  从成本收益说开去 

 

        提起自动化测试,最引人关注的,最绕不开的话题,始终是收益与成本的平衡。

        PPT中我们对印象派和相册这两个典型项目,近两个月的数据进行了分析,包括自动测试带来的测试人员的节省人时、自动用例设计编写所耗费的人时。数据会因项目不同而存在一定差异性,但可以得出的结论是,自动化带来的收益将会随着时间的延伸、运行次数的增多而直线上升。

        实践表明由UI更新所带来维护成本,是可以通过良好的代码设计避免的;而测试脚本在面对网络等不确定因素、多用例执行,服务器环境部署,及在测试中遇到各种各样的突发问题处理所引发的成本,我们称作为调试成本。假设项目的功能在一定时期内保持相对稳定(无重大的功能改版),那么自动化的成本主要是编写成本及调试成本,在用例设计及上线一段时间后,这个成本会逐渐保持在一个相对稳定的数量级。

       按照目前的运行频率,在一个可预期的时间(印象派2个月,相册7个月),付出的成本便可回收。如果印象派和相册产品的存在远远超出这个时间(目前看来毫无疑问),那再往后,就都是净赚了。

        由此看来,一个不错的收益比是可以预期的!


        乍一看去,这种计算和考量没有问题,但人们往往忽视了冰山下最重要的一部分。在表面的收益和成本之下,隐藏着:
  • 冰山下的成本

       包括自动测试平台、框架的搭建和维护;测试工具及框架的调研与培训。这类工作需要持续的投入,其成本往往要远大于用例设计与编写。

  • 冰山下的收益

       包括人员核心竞争力的培养;测试组技术水平的提高。从这个角度来看,即使短期而言成本大于收益,自动化也是值得的!

       因此,对待成本,我们不妨换一种态度去看,也许会豁然开朗!

 

对待成本,我总结的原则是:战略上看轻,战术上重视!

  • 作为测试组的一项长期的人才培养战略,大力推广自动化测试有着它非常重要的意义,这就要求我们的决策层要站的高看得远,看轻成本,舍得投入。
  • 而在执行层则需要每一位自动测试人员,做到千方百计的重视成本,珍惜资源。


第二篇  好钢用在刀刃上

 

俗话说,好钢要用在刀刃上。

既然资源有限,成本不可忽视,在自动化测试实施环节,首先要分清的就是,哪些地方不是刀刃?从而做到有的放矢。

  • 从需求的角度,时间紧张、一次性的项目,不要试图自动化。
  • 从技术的角度,动画、音效主观感受类的测试,当人无法用逻辑语言表达出预期结果时,不要试图自动化。

自动化适合那些高重用性、可准确描述、时间较充裕、功能相对稳定的项目场合。

 

选择应用来实施自动化时,有两条原则可以指导我们的行为:

  • 要有成本意识,把好入口关。

不是所有的应用都应该或需要被自动化。在我们的实践中,就不乏这样的反面例子,在新项目方向尚未定型时,辛辛苦苦做好的用例,频繁遇到大改版,这样的经历在互联网产品中屡见不鲜,着实应该引以为戒,时刻注重成本,把好入口关,谨慎得进入。

  • 不要盲目迷信覆盖率。 

自动用例的覆盖率是个非常重要的指标,这无可厚非,但不应作为唯一的衡量标准。

大量的实践经验表明,在每个项目中都可以找到一个阈值,即自动用例在到达一的规模之后,会达到一个最佳效能的平衡点,再继续做下去,则会带来维护成本的显著跃升。阈值因项目特性不同而异,需要在实施中进行拿捏。对于日新月异的互联网产品,一般来说,覆盖到major级别的回归测试用例已经足够了。

 (未完待续。。。)

 

附上这篇PPT的地址,欢迎感兴趣的你共同讨论~

https://docs.google.com/viewer?a=v&pid=explorer&chrome=true&srcid=0B_bK-luD1tLROTg0ZDg0OWQtMGI5MS00OWUyLWI2NTEtMWUyNDYzNzM2OTk5&hl=en&authkey=CKSoyJAC

 

Happy new year, everybody!

  评论这张
 
阅读(223)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018