问:AWS Device Farm 是什么?
AWS Device Farm 允许开发人员通过在 AWS 云中测试真实 Android 和 iOS 设备并与其进行交互来提高应用程序质量、客户满意度和加快上市时间。开发人员可以上传他们的应用程序,测试脚本并在数百个真实设备上并行运行自动测试,从而可在几分钟内获得结果、屏幕截图、视频和性能数据。他们还可以通过滑动、手势以及通过 Web 浏览器与设备进行交互来调试和重现客户问题。
问:哪些人应使用 AWS Device Farm?为什么?
AWS Device Farm 是专为要构建和测试移动应用程序并为其提供支持以提高应用程序质量的开发人员、QA 团队和客户支持代表设计的。鉴于当前设备型号繁多、固件和操作系统版本各异、运营商和制造商定制服务千差万别,再加上对远程服务和其他应用程序的依赖性,应用程序的质量变得日益重要和复杂。AWS Device Farm 通过在多个设备上执行测试来加速开发流程,使开发人员、QA 团队和支持专业人员能够执行自动测试和手动任务,例如重现客户问题、探索测试新功能和执行手动测试计划。此外,AWS Device Farm 还可节省大量成本,因为客户再也无需使用内部设备实验室、无需聘用实验室管理人员,也无需进行自动化基础设施开发。
问:AWS Device Farm 支持测试哪些类型的应用程序?
AWS Device Farm 支持测试原生和混合 Android、iOS 和 Web 应用程序以及跨平台应用程序,其中包括使用 PhoneGap、Titanium、Xamarin、Unity 和其他框架构建的应用程序。
问:AWS Device Farm 使用模拟器还是仿真器?
AWS Device Farm 测试在真实的非根设备上运行。此类设备既包括 OEM 设备,也包括运营商的自有品牌设备。
问:如何开始使用 AWS Device Farm?
请参阅我们的入门指南。
问:AWS Device Farm 控制台支持哪些浏览器?
AWS Device Farm 支持 Internet Explorer 9 或更高版本,以及最新版本的 Chrome、Firefox 和 Safari。
问:哪些浏览器支持测试 Web 应用程序?
Web 应用程序可在 Android 上的 Chrome 和 iOS 上的 Safari 中进行测试。
问:应用程序的文件大小上限是多少?
AWS Device Farm 最大支持 4GB 的文件。
问:我是否需要检测自己的应用程序或为其提供源代码?
您无需进行检测或提供源代码即可运行内置测试。Android 应用程序可以按原样提交。构建 iOS 应用程序时,应将“iOS 设备”(而不是模拟器)设为目标。
问:我的应用程序、测试和其他文件是否会存储在服务器上?如果是,会存储多久?
应用程序和文件会在 30 天后自动移除。
问:你们是否会修改我的应用程序?
在 iOS 上,我们会使用通配符配置文件替换嵌入式预置配置文件,并对应用程序重新签名。如果您提供的话,那么我们会在安装前将辅助数据添加到应用程序包中,这样辅助数据就可以在您的应用程序沙盒中显示了。如果对 iOS 应用程序重新签名,则会撤销特定权限。这包括应用程序组、关联的域、Game Center、HealthKit、HomeKit、无线配件配置、App 内购买、App 间音频、Apple Pay、推送通知和 VPN 配置与控制。
在 Android 上,我们对应用程序重新签名。这可能会破坏依赖应用程序签名的功能,如 Google Maps Android API。此外,这样做还可能会触发 DexGuard 等产品的反盗版和防篡改检测。对于内置测试,我们可能会修改清单,以添加获取和保存屏幕截图所需的权限。
问:AWS Device Farm 中提供了哪些设备?你们如何选择产品队列中的设备?
AWS Device Farm 包含大量 Android、iOS 和 Fire OS 设备,且产品队列还在不断增加。我们会不断添加制造商发布的热门新设备,还会在新版操作系统发布时增加新设备。请查看可用设备列表。
问:AWS Device Farm 是否包含来自欧洲、中国和印度各国市场的设备?
我们目前拥有来自印度的设备。我们将市场数据和客户反馈结合在一起,不断更新产品队列的内容。如果您想查看产品队列中未列出的设备,请告知我们。
问:我该如何选择设备?我能否在同一台设备上进行重复测试?
对于自动测试,您可通过设备池这一集合形式选择设备。我们会自动提供一些精选设备池,但您也可以创建自己的设备池。在执行期间,测试会针对指定池中与您的应用程序和测试兼容的所有设备运行。对于远程访问,您可基于制造商、型号、运营商变体和操作系统版本选择所需设备。然后,您可以选择上传应用程序和其他数据,以及配置其他设备设置。Device Farm 会找到与您的请求匹配的可用设备,并在浏览器中显示该设备的显示屏。然后,您可以与该设备进行交互,并捕获屏幕截图和视频。
问:AWS Device Farm 测试设备上是否预安装了应用程序?
是的,测试设备上包含许多由设备制造商或运营商预安装的应用程序。
问:设备能否与 Internet 上的其他可用服务或系统通信?
如果您的系统是内部的(即在企业防火墙之后),可以将 IP 范围 54.244.50.32-54.244.50.63 列入白名单。所有设备的流量将出自此范围内的 IP。
问:我能否使用设备打电话或发送短信?
不能,设备没有连接到运营商网络,所以不能打电话或发送短信。
问:我能否使用设备摄像头?
可以,您可以使用设备的前置和后置摄像头。鉴于设备的安装方式,图像和视频可能会看上去模糊不清,并且发暗。
问:我并没有自动测试脚本。内置测试有何用途?
借助内置兼容性测试套件,您可以在应用程序上安装、卸载、启动和运行 Fuzz。
问:Fuzz 有何用途?
启动后,Fuzz 便会立即在您的 UI 上执行模糊测试。它会迅速将用户的随机输入内容(触摸、轻扫、键盘输入)流式传输到您的应用程序中。您可以配置事件数、事件间延迟以及用于随机化事件的种子。对多个测试使用相同的种子会生成顺序相同的事件。
问:我使用自动化框架进行测试。你们支持哪些框架?
在测试 iOS、Android 和 FireOS 应用程序方面,我们目前支持 Appium Java JUnit、Appium Java TestNG、Calabash、Instrumentation(包括 JUnit、Espresso、Robotium 和所有基于检测的测试)、UI Automation、uiautomator 和 XCTest(包括 KIF)。要了解详情并获取更新后的列表,请查看我们的文档。
问:你们支持哪些适用于 Web 应用程序的测试框架?
您可以运行在 Appium Java JUnit 和 Appium Java TestNG 中编写的测试。
问:你们能否增加对修改后的框架或我自行设计的框架的支持?
我们一直都在评估需要支持的框架。请联系我们。
问:AWS Device Farm 如何确定在测试过程中进行屏幕截图的时间?
如果您使用的是受支持的自动化框架,则可以完全控制并决定进行屏幕截图的时间。这些屏幕截图会自动添加到您的报告中。
问:(Android) 设备上是否提供了 Google Play 服务?安装的是哪个版本?
是的。Google Play 服务已安装在支持此类服务的设备上。此类服务会不断更新新版本。
问:(Android) 设备上是否有默认的 Google 账户?
没有。设备上没有有效的 Google 账户。
问:AWS Device Farm 是否支持自动记录和播放?还是需要我编写自己的脚本?
AWS Device Farm 支持包含脚本记录和播放工具的框架(如 Robotium)。
问:(iOS) 我是否需要将你们提供的 UDID 添加到我的预置配置文件中?
否。AWS Device Farm 会自动替换预置配置文件,并对您的应用程序重新签名,以便可以在我们的设备上部署您的应用程序。
问:(iOS) 我的应用程序不包含调试符号。我能否将 dSYM 文件提供给 AWS Device Farm?
不能。不过,您可以下载日志,并在本地将堆栈跟踪符号化。
问:(Android) 我的应用程序遭到屏蔽。我是否还可以在 AWS Device Farm 上测试我的应用程序?
可以,如果您使用 ProGuard 的话。如果您使用具有反盗版功能的 DexGuard,那么我们将无法对您的应用程序进行重新签名,进而也就无法对其进行测试。
问:我的应用程序投放广告。这些广告会在设备上展示吗?我的广告提供程序会将此标记为滥用行为并禁止我的账户吗?
虽然设备能访问 Internet,但我们无法保证广告会展示。我们建议您从 AWS Device Farm 上测试的生成文件中移除广告。
问:我能否将访问托管设备的计算机或其 Shell 作为测试的一部分?我能否将它连接到 Internet?
不能,一般不可以。如果您使用的是客户端服务器框架(如 Calabash 或 UI Automation),则可以从主机执行有限的 Shell 命令,但无法进行网络访问。如果您需要从主机进行 Internet 访问,请联系我们。
问:我想提供媒体或其他数据,以供我的应用程序使用。该怎么办?
您可以提供最大 4GB 的 .zip 存档。在 Android 上,它会被提取到外部存储器的根中;在 iOS 上,它会被提取到您的应用程序沙盒中。对于 Android 扩展文件 (OBB),我们会根据操作系统版本自动将文件放置在相应的位置上。有关详细信息,请参阅开发人员指南。
问:我的应用程序需要有依赖关系才能测试所有功能。我能否安装其他应用程序?
能,您可以选择多个应用程序及其安装顺序。这些关联的应用程序会在测试开始前进行安装。
问:我能否测试我的应用程序的升级流程?如何安装我的旧版应用程序?
能,要测试升级流程,您可以先上传并安装您的旧版应用程序,然后再安装和测试新版应用程序。
问:我的应用程序使用定位服务。我能否指定设备的物理位置?
能,您可以提供纬度和经度坐标来覆盖设备的 GPS。
问:我能否运行本地化测试?如何更改设备语言?
能,您可以提供区域设置(例如“en_US”)来覆盖设备上的默认区域设置。
问:需要等待多长时间才能开始测试?
测试会立即进入执行队列,通常会在几分钟内开始。如果一台或多台设备不可用,则这些设备的测试会一直处于执行队列中,直到设备可用时为止。其他设备的测试会继续运行。
问:测试时间上限是多长?
测试时间上限为 60 分钟。如果您需要更长的超时,请联系我们。
问:AWS Device Farm 测试报告中包含什么?
AWS Device Farm 测试报告中包含通过/未通过信息、崩溃报告、测试日志、设备日志、屏幕截图、视频和性能数据。报告中既包含每台设备的详细数据,也包含简略结果(如 CPU 平均使用率或特定错误的发生次数)。远程访问结果中包含日志和会话视频。
问:AWS Device Farm 报告中包含哪些设备日志?
AWS Device Farm 报告中包含完整 Logcat 捕获信息,以及 Android 测试的视频。远程访问会话提供捕获设备日志、视频和屏幕截图。
问:我的测试生成并保存其他日志文件。我会在 AWS Device Farm 报告中看到这些文件吗?
如果您将数据写入 logcat (Android) 或设备日志 (iOS),则报告中会包含其他日志文件。AWS Device Farm 报告中不包含任何非标准日志或屏幕截图。
问:AWS Device Farm 的费用是多少?
定价以设备分钟数为依据,即每台选定设备上的测试持续时间。AWS Device Farm 提供 250 设备分钟免费试用。此后,设备分钟数每增加一分钟,就会向客户收取 0.17 USD 的费用。随着您的测试需求增长,您可以选用无限制的测试计划,即每台设备每月支付 250 USD 的固定费用,便可以进行无限量测试。
问:免费试用如何生效?
您的前 250 设备分钟数为免费提供。这是一次性试用,不能续订。一旦为您分配的试用结束,将按照每设备分钟 0.17 USD 的标准价格计费。
问:设备分钟数是什么?
设备分钟数是计费单位。设备分钟数是指在选定用于运行测试的每台设备上安装、执行和卸载您的应用程序和测试的时间(以分钟为单位)。无论设备、测试或应用程序的类型如何,单价都保持不变。我们只会对已完成且没有发生任何设备错误或系统错误的测试按设备分钟数收取费用。同样,对于远程访问会话,设备分钟数是基于从按照您的规格准备设备到从该设备上完全删除您放置的任何应用程序和数据所耗时间计量的。
您可以根据业务需求动态地增减使用量,而无需遵循任何上限或预先承诺。
问:什么是无限制计划以及设备插槽是如何工作的?
无限制计划允许无限制的测试和远程访问以每月 250 USD 起价。无限制定价取决于您为各种使用类型(即自动测试或远程访问)和各个设备系列(即 Android 或 iOS)购买的设备插槽数量,每个插槽每月的费用为 250 USD。设备插槽对应并行测试。
例如,如果您购买了 10 个 Android 自动化测试设备插槽并安排对 100 个 Android 设备执行一次测试,Device Farm 将同时对最多 10 个设备执行测试,直至针对所选设备进行的所有测试全部完成。购买更多插槽可使您更快地得到结果。无论您在一月内执行多少次测试或发起多少个远程访问会话,都按照每个设备插槽每月 250 美元的统一费率计费。您可以随时取消订阅一个或多个设备插槽,取消订阅将于您当前的账单周期结束时生效。要了解更多信息,请参阅我们的文档。
问:如果我的测试需求改变,并且需要添加或删除设备插槽,将会怎样?
您可以随时添加设备插槽,它们将即时可用。您可以随时取消订购一个或多个无限制设备插槽,订购取消将于您当前的计费周期结束时生效。
问:如果我正在执行无限制计划,那么能否继续使用有限计费?
是的。创建测试时,您可以选择使用无限制设备,或者有限设备分钟数。由于并行测试并非只能使用有限计费,因此,您可以将使用自己的设备插槽执行测试的速度作为基准,灵活地加快测试执行速度。