最近小编看到大家都在讨论性能测试平台_云上的移动性能测试平台 相关的事情,对此呢小编也是非常的感应兴趣,那么这件事究竟是怎么发生的呢?具体又是怎么回事呢?下面就是小编搜索到的关于性能测试平台_云上的移动性能测试平台 事件的相关信息,我们一起来看一下吧!
性能测试平台(云上的移动性能测试平台)
1.功能决定现在,性能决定未来。
性能测试一直是移动测试领域的一大难题,其最直观的表现就是用户在前台使用App时的主观体验。但是,在体验决定的背后,涉及到很多技术变革。
(相关资料图)
当我们习惯了诺基亚,智能手机出现了;当我们学会了发展原生,杂种就来了;当各种混合框架下的巨型应用趋于成熟,小程序出现在我们面前;继直播、iot、ar、vr、人工智能之后,新的技术和应用场景正在以超乎想象的速度发展。面对快速变化的场景和开发技术,性能测试技术面临着巨大的挑战。当我们还在纠结怎么考A的时候,B已经出来了。
性能测试本身也有越来越成熟的解决方案,比如在线性能监控APM和离线性能采集工具;有各种应用场景衍生出来的测试技术,比如压力测试、稳定性测试、功耗测试等。还有基于各种性能指标(内存、cpu、功耗、流量)的各种特殊测试能力。
我们致力于打造线上和线下的性能解决方案,希望帮助开发者发现、定位和解决一系列移动性能问题。本文将重点介绍EMAS性能测试平台的功能和规划。还是那句话,功能决定现在,性能决定未来。
2.云上的性能测试工具
通常,当我们进行特殊测试时(内存、cpu、电源、流量等。),我们需要准备测试模型,测试包,测试环境,测试数据,会遇到以下问题:
型号数量不够。
调试包不一定能反映出量产包的性能,但是Android Studio需要调试包来测试。
搭建Android/iOS测试环境和跨平台比较困难。
对大量的测试数据进行了整理和分析。
这些问题很容易导致整个测试的效率低下,甚至无法实施。
基于EMAS云实机的调试能力,MQC在云上提供了更加完善便捷的性能测试工具。
云机器自然提供多达600+的测试模型,支持调试测试所有已安装的应用,不依赖任何本地环境配置,一键上传测试数据进行统计。
同时,EMAS性能测试工具具有以下特点:
基于app_process和instruments协议的移动双终端跨平台性能采集;
非入侵、间隔短(采集间隔稳定为1s)、延迟低(性能数据延迟小于100ms)、功耗低(对设备性能影响小于1%);
应用+进程测试方案满足混合和小程序的测试需求。
3.云上的数据看板
性能数据的意义在于,它通过技术手段对各种常见问题进行度量和量化,可以帮助我们在产品功能上线之前,尽可能地发现潜在的性能问题和风险。MQC性能测试平台将存储在云端的数据以尽可能多的维度可视化呈现给用户,并在发布之前将好的版本放在大门口。
3.1任务
用户使用虚拟现实机进行的每一次测试任务和性能数据都会直接保存为测试任务,方便再次查看和确认历史数据。
3.2使用案例
在实际测试过程中,很容易发现不同应用场景的性能数据完全没有可比性。仅仅看统计方法中性能数据的平均值,很难直接给出一个定性和定量的判断,也没有办法影响开发和产品的决策。
即使看起来是同一个场景,不同的产品决策也可能带来较大的性能数据差距:比如大多数云盘相册基于流量和性能的考虑显示压缩图片;而我们本地的一些相册软件基本都是显示原图,所以产品的选择导致内存成本差异巨大。
数据看板在最初的设计时,吸收了构建功能自动化用例平台的经验,将每个性能测试任务存储到用例中,并根据不同的用例维度对性能数据进行统计。在EMAS移动测试控制台中,不同的子账户可以查看和管理相同的app和用例,以满足多用户云协作的需求。
3.3多维聚合
在用例维度的基础上,MQC性能测试平台提供了多维度的数据统计、汇总和分析能力。
设备分类
根据设备硬件性能得分,分为高、中、低三个等级。因为不同型号对APP的实际性能指标影响很大,所以这个因素可以大大降低硬件性能对指标置信度的影响。
应用程序版本
对于绩效指标,通常有三个判断问题的标准:
基于行业技术经验定义的基线指标,通常是技术决策者基于用户体验、性能需求和大数据分析提出的用于开发的底线标准;
相对于行业APP的性能指标,学习行业内优秀的技术变现一直是互联网快速发展的重要原因之一;
与不同版本的APP进行纵向对比,快速发现新版本的优化效果、新功能对APP的影响等。
指数分布
指数分布可以帮助开发者快速判断指数区间,定位可能的异常任务和异常指数区间,更有针对性地参考任务报告。
4.未来规划
丰富的指标:我们将继续完善更多性能指标的采集方案,如功耗、GPU、温度等。
行业指标:MQC将基于云上的开发者数据和专家测试数据,整理统计各行业的业绩指标,并作为参考分享;
业绩优优资源网基线:如前所述,业绩指标观察优优资源网通常有三个标准,分别是同行业的APP业绩指标;不同版本APP的性能指标;基于技术解决方案和行业数据的性能标准。性能的定义可以更好的约束开发者对极致性能体验的追求,降低出现性能问题的概率,比如OOM和ANR问题。