Google Play 비공개 테스트에서 실행 실패와 Crash ANR을 구분해 기록하는 법
Google Play 비공개 테스트에서 앱이 열리지 않는 상황과 실행 뒤 관찰된 Crash 또는 ANR을 구분하고 테스트 계정과 앱 버전 기준으로 기록하는 방법을 안내합니다.
Google Play 비공개 테스트에서 앱이 열리지 않았다는 기록만으로는 무엇을 다시 확인해야 하는지 알기 어렵습니다. 설치 단계에서 멈춘 것인지 앱이 시작되지 않은 것인지 실행 뒤 Crash 또는 ANR이 관찰된 것인지를 나누어 적어야 합니다. 이 글은 결과를 크게 해석하기보다 테스트 계정과 앱 버전과 관찰 단계를 기준으로 확인 범위를 정리하는 교육용 순서를 설명합니다.
확인을 시작한 조건을 먼저 적습니다
기록의 첫 줄에는 확인한 앱 버전과 테스트를 시작한 시각과 확인하려는 흐름을 적습니다. 한 번에 모든 화면을 확인하려 하면 어느 단계에서 문제가 보였는지 흐려집니다. 예를 들어 앱 설치 뒤 첫 화면 진입만 보려 했다면 그 범위만 남깁니다. 확인하지 않은 기능까지 정상이라고 확대하지 않아야 다음 테스트에서도 같은 조건을 다시 만들 수 있습니다.
설치와 실행은 다른 단계로 나눕니다
앱을 설치할 수 있었는지와 설치한 앱이 시작됐는지는 같은 결과가 아닙니다. 설치가 끝난 뒤 아이콘을 눌렀을 때 어떤 화면이 보였는지까지 별도 항목으로 기록합니다. 설치 화면을 통과했다는 이유만으로 앱 실행까지 확인됐다고 쓰지 않습니다. 반대로 시작 화면이 보였더라도 이후 흐름이 모두 확인된 것은 아닙니다. 단계를 나누면 다시 확인할 위치가 자연스럽게 좁혀집니다.
실행 실패와 관찰된 Crash 또는 ANR을 구분합니다
앱이 실행되지 않았다고 해서 바로 Crash나 ANR이라고 판단하지 않습니다. 시작 단계에서 멈췄는지 특정 화면을 연 뒤 비정상 종료가 관찰됐는지 또는 응답이 멈춘 상태가 보였는지를 구분합니다. 관찰한 화면과 발생 단계는 사실로 적고 원인은 별도 확인 항목으로 둡니다. 이 구분은 결과의 이름을 꾸미기 위한 것이 아니라 다음 테스트에서 같은 현상을 비교하기 위한 기준입니다.
테스트 계정은 개인 정보 없이 식별합니다
테스트 계정은 내부에서 정한 짧은 구분자로만 남깁니다. 계정의 비밀번호나 인증 코드나 개인 정보는 기록하지 않습니다. Play Console 목록에 등록한 계정과 현재 확인에 사용한 테스트 계정이 일치하는지는 별도로 확인합니다. 계정이 맞지 않으면 같은 링크와 앱 버전으로도 다른 화면이 나타날 수 있습니다. 조건을 보호하면서 구분자를 남기면 재현 범위를 설명하기가 쉬워집니다.
물리 Android 기기의 관찰 범위를 함께 적습니다
물리 Android 기기에서 확인했다면 기기 구분과 앱 버전과 관찰 단계를 남깁니다. 한 기기에서 보인 결과를 넓은 기기 범위의 결과로 일반화하지 않습니다. 같은 앱 버전이라도 확인한 화면과 조건이 다르면 결과를 바로 비교할 수 없습니다. 관찰 결과는 테스트한 범위 안에서만 쓰고 추가 확인이 필요한 항목은 보류로 남깁니다.
다음 확인은 하나의 질문으로 끝냅니다
기록 끝에는 다음에 확인할 항목을 한 가지로 줄입니다. 예를 들어 설치는 되었지만 시작 화면이 보이지 않았다면 다음 확인은 시작 단계의 관찰로 정합니다. 여러 설정을 한꺼번에 바꾸면 무엇이 영향을 주었는지 알기 어렵습니다. 같은 테스트 계정과 같은 앱 버전 기준을 유지하면서 한 항목씩 확인하면 이전 기록과 비교할 수 있습니다.
Google의 판단과 교육 기록을 분리합니다
테스트 기록은 앱 상태를 살피기 위한 자료이며 Google의 테스트 인정이나 프로덕션 액세스를 대신 결정하지 않습니다. 해당 판단은 Google이 독립적으로 내리며 LuneTest가 보장하지 않습니다. Google Play 비공개 테스트의 준비 항목과 기록 예시는 https://lunetest.app/guides 에서 확인할 수 있습니다. 사실과 관찰 범위를 나누어 남기면 실행 실패와 관찰된 Crash 또는 ANR을 다음 테스트에서 더 정확히 비교할 수 있습니다.