• 快捷搜索
  • 全站搜索

“众测”在国内的应用现状、标准和发展趋势

2018-05-31 14:18:29作者: 中国软件测试认证委员会专家工作组组长 任亮编辑:金融咨询网
用户对IT产品的要求越来越高,变化越来越快,如何多快好省地进行测试,更好地提升用户体验成为一个急需解决的问题。

随着互联网时代的到来,尤其是移动互联网的快速发展,用户对IT产品的要求越来越高,变化越来越快,如何多快好省地进行测试,更好地提升用户体验成为一个急需解决的问题。利用个人资源产生更多的价值成为一个重要的研究课题,众筹,众包,共享等方式应运而生,在市场资源配置中起到重要作用。众包是一种特定的采购模式,指个人或组织通过互联网联系用户、使用对应资源获取所需的服务。众测可看作是众包的一种形式,主要是把测试的工作任务,分配给大众进行测试。众测近几年在国内外发展都非常迅速,很多公司选择众测作为产品测试的一种重要的方式。

任亮.jpg

众测主要的优点

        1.更合理的成本控制。众测这种基于互联网的任务发包方式,必定会接触到大量外部参与者。外部参与者群体数量庞大且具备充分竞争条件,是具有很高效费比的群体,能够帮助公司合理控制成本。公司可以根据自身实际情况,建立起自有人员、外包人员和众测人员的分层人员模式,优化成本结构,控制风险。

        2.更全面的产品质量。外部参与者所提供的各种各样的平台、地点、语言环境等不同组合,能够辅助发包方更为全面地发现问题,包括较为隐蔽的问题和兼容性问题,提高产品的整体质量,是公司常规测试之外非常有益的补充。可以弥补常规测试比较依赖测试人员的经验以及由于测试资源不足导致测试覆盖率不够等问题。

        3.更快捷的推向市场。对于推向市场的时间要求高,同时测试资源又不足的产品,比如一些互联网应用,众测能够在短时间内组织众多测试资源完成大量的测试工作。极大缩短产品由于人员、设备等限制条件导致的计划延后的一系列问题,更快速地响应市场需求并及时收集反馈。

        4.更满意的用户体验。通过众测,能够在产品正式推向市场前,从各个方面收集产品的反馈,进而改进产品,提高用户体验。在产品到用户手中时,由于已经有大量真实用户参与测试,他们报告发现的问题已大部分或全部被修复,其产品质量达到较高水平,能有效满足日趋挑剔的消费者群体,全面改善用户体验。

众测的主要缺点

        1.安全性的问题。由于需要开放权限给外部参与者,考虑到参与者语言不同、教育程度不同及地区或国家的不同导致的价值观差异,如何合理地设置被测产品或项目的安全防火墙显得尤为关键,这对于安全性要求非常高的金融类产品更加重要。

        2.知识产权的问题。众测的结果及其知识产权应归发包方所有,但不能避免别有用心的参与者会想方设法获取这些有价值信息并另有企图。例如众测人员把有价值的产品信息拿来自己做类似的产品或出售给竞争对手,会造成发包方知识产权的重大损失。

        3.测试人员和过程管理的问题。外部参与者绝大多数是由不同地点、不同层次的个体组成,如何整合众多参与者所递交的各式各样的结果,监督整个测试进程,是一项十分庞大的工程。比如如何找到合适的参与众测人员,他们是否真正在做测试,提交的测试结果是否有效等,都是需要切实考虑的问题。

        4.测试资产复用的问题。与传统的组织形式相比,众测工具的使用较少,依赖手工测试的比例相对较高,甚至不一定有测试用例等常见的测试资产输出,且今后的测试轮次过程中测试人员的组成也会发生较大变动。这就会导致测试资产及经验的收集十分困难,也难以重用,降低了测试效率和质量,无法进行有效的持续改进。

众测适合的项目类型

        众测是随着互联网发展到一定阶段出现的产物。该测试工作的组织形式可以远程参与,并且较少需要参与者了解其流程和业务知识。从被测对象来看,移动端应用测试比较适合众测。由于移动设备市场的快速发展,每年都有大量新的设备推向市场,其硬件、软件都有差异,且大量移动应用都需要位置信息。而众测可以使用众测人员自己的设备,人员分布广泛,且使用的设备覆盖面大,更接近产品的真实使用场景。移动应用中的游戏测试就多采用众测方式,当然客户端和网页端游戏等也有不少采用了众测方式。从测试工作划分来看,本地化测试、互联网应用的安全性测试、易用性测试等较为适合众测。

众测在国内的现状

        国内众测公司发展十分迅速,不少知名IT公司都提供众测服务。金融行业由于系统更加复杂,对测试人员熟悉业务流程的要求更高,对安全和质量方面的要求也更加严格,在众测方面开展相对滞后。但在部分移动应用方面,不少金融机构也开始进行逐步探索,取得了一定进步。例如,已经有银行在这方面进行了有益尝试,与第三方众测平台合作开展众测合作。银行业软件测试未来的趋势是融合与专注:系统集成测试更多地与开发融合,打通开发、测试和运维之间的部门墙,推进敏捷和DevOps;用户验收测试更关注用户体验,该过程就可以充分结合众测方式收集用户的反馈。

众测的标准

        目前业界缺乏众测标准,这也导致大家对众测定义、范围和方法理解不一致。当前急需统一认识,建立一套众测标准,提高沟通的效率和有效性,更好地服务于众测。标准可从以下几方面考虑。

        1.模块化的系统架构。在被测系统设计和开发时,需要基于模块化方式考虑。由于众测在短时间内引入众多外部参与者进行测试,所有被测试组件都应该可以独立运行;否则会导致测试瓶颈出现,降低测试进度,进而影响到众测队伍的积极性。

        2.众测人员的管理体系。众多外部人员参与众测,需要有统一的平台进行资质审核,过滤掉伪装的黑客、商业间谍等人;对于能力不足的众测人员则通过培训等方式提高其能力水平。建立一套双向评价体系,能够较为客观地反映众测人员的技术能力、交付质量及工作态度等关键影响因素,形成人员的信用体系。同时被测人员也可以对发包客户的需求详细程度、对众测人员的支持程度等进行评价。

        一个项目需要多少众测人员比较合适,这是一个很重要的问题。目前,有些第三方众测平台缺乏相关规定,也有些规定2-3人,还有一些平台规定更多的人数。如某众测平台规定需要15人的测试团队,由1~5年以上相关行业测试经验及2年管理经验的测试专家带领14名具备3年以上经验的职业测试工程师共同组成,这样更能有效保证质量。

        3.明确测试项目的需求。发包方需要有明确的测试需求,包括设定不同的质量要求,并可以限定参加众测的人员资格条件。众测人员可以根据自身的能力和资质进行合理选择。

        4. 完善的测试对接流程。要建立起良好的对接流程,解决众测参与人员的登陆权限问题,指导参与人员清晰地描述所发现的缺陷,鉴别重复无效的缺陷等并能及时反馈意见和建议,并实施改进措施。

        5.良好的系统安全控制。需要对被测系统进行风险评估,高风险的系统,需要选择具有良好评价的测试人员参与;而低风险的可以相应地降低要求。针对被测系统的重要性,根据参与测试人员的信用等级,制订不同的安全策略。例如可以直接访问的被测系统,只能通过鉴权后才能访问的被测系统,或限制登陆地点时间等因素的被测系统。

        6.合理的测试奖惩机制。不能仅根据发现的缺陷数量来衡量众测参与者的绩效和奖励。而要综合考虑各方面因素,且可以与其信用等级等因素进行挂钩,进一步激励众测参与人员的工作积极性;更进一步,奖惩的发放机制形成闭环。例如众测人员提交缺陷后拿到部分奖励;被测产品发布到生产环境后,根据一定时间内生产中出现的缺陷数量决定是否增加奖励。同时要保证收入的合规性,例如众测人员收入纳税的问题。

众测未来发展预测

        众测是一种相对较新的测试方式,根据其自身特点,在处理好主要缺点的前提下,未来还会有较大发展,主要方向如下。

        1.更加聚焦专项测试。每个参与众测的人员应该是标签化的。例如安全测试项目的众测人员、易用性测试的众测人员、游戏体验测试的众测人员、金融产品测试的众测人员等。

        2.更加优化成本结构。众测应该有更加优化的成本结构,尤其是对质量要求很高的金融产品,应该建立测试的分层结构。例如自有的测试管理人员、测试专家、测试分析师;客户现场的外包测试人员、离线外包测试人员、离线个体测试人员等。

        3.更好融合现有测试。众测应该是现有测试的一个重要、有益的补充,不是简单的替代现有测试;应该进行更好地融合,关注测试最重要的三个指标维度:价值、质量和效能。

        未来随着新型IT的不断发展,众测也会有新的发展,不断推动中国测试水平的提高,持续优化,不断改进,更好地提升用户体验。

(文章来源:金融电子化杂志)

扫码即可手机
阅读转发此文

本文评论

相关文章