[정보처리기사 실기] 10. 애플리케이션 테스트 관리 (★중요★)

★ 출제를 많이 하는 단원/꼼꼼히 보기 ★

10-1. 애플리케이션 테스트 케이스 설계

◎ 소프트웨어 테스트 원리

• 테스팅 : 결함이 존재함을 밝히는 것 / 완벽한 테스팅은 불가능 /테스팅은 정황에 의존적(소프트웨어의 성격에 맞게 테스트 실시)
• 개발 초기에 테스팅 시작 -> 요르돈의 법칙(눈덩이) : 개발 초기에 테스팅 하지 않으면 비용이 커진다.
• 결함 집중 -> 파레토 법칙 : 소프트웨어 테스트에서 오류의 80%는 전체 모듈의 20% 내에서 발견된다.
• 살충제 패러독스 : 동일한 테스트 케이스로 반복해서 테스트하면 새로운 버그를 찾지 못한다.
• 오류-부재의 궤변 : 요구사항을 충족시키지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없다.

◎ 화이트박스 테스트(구조 기반 테스트) : 각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테트

• 테스트 커버리지 : 프로그램의 테스트 수행 정도를 나타내는 값(기능기반/라인/코드커버리지)

-> 화이트박스 테스트 유형

• 구문 커버리지 : 프로그램 내의 모든 명령문을 적오도 한 번 수행하는 커버리지
• 결정(선택,분기) 커버리지 : 결정 포인트 내의 전체 조건식이 적어도 한번은 참과 거짓의 결과가 되도록 수행
• 조건 커버리지 : 결정 포인트 내의 각 개별 조건식이 적어도 한번은 참과 거짓의 결과가 되도록 수행
• 조건/결정 커버리지 : 전체조건식 + 개별조건식
• 변경 조건/결정 커버리지 : 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함
• 다중 조건 커버리지 : 결정 조건 내 모든 개별 조건식이 모든 가능한 조합을 100% 보장하는 커버리지
• 기본경로 커버리지 : 수행 가능한 모든 경로를 테스트, 맥 케이브 순환 복잡도
• 제어 흐름 테스트 : 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직 테스트
• 데이터 흐름 테스트 : 제어 흐름 그래프에 사용현황 추가

◎ 블랙박스 테스트(명세 기반 테스트) : 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트

-> 블랙박스 테스트 유형

• 동등분할 테스트 : 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트케이스를 도출해 테스트
• 경계값 분석 테스트 : 최솟값 바로 위, 최대치 바로 아래 등 입력값의 극한 한계를 테스트 하는 기법
• 결정 테이블 테스트 : 요구사항의 논리와 발생조건을 테이블 형태로 나열해, 조건과 행위를 모두 조합해 테스트
• 상태 전이 테스트 : 어느 한 상태에서 다른 상태로 전이 되는 경우의 수를 수행하는 테스트
• 유스케이스 테스트 : 프로세스의 흐름을 기반으로 테스트 케이스를 명세화해 수행하는 테스트
• 분류 트리 테스트 : SW의 일부 또는 전체를 트리구조로 분석 및 표현하여 테스트 케이스 설계 해 테스트
• 페어와이즈테스트 : 테스트 데이터 값들 간에 최소한 한 번 씩을 조합하는 방식
• 원인-결과 그래프 테스트 : 그래프를 활용해 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석
• 비교 테스트 : 여러 버전의 프로그램에 같은 입력 값을 넣어 비교해 테스트

◎ 경험 기반 테스트 유형

• 탐색적 테스트/오류 추정/체크리스트/특성 테스트

◎ 테스트 시각에 따른 분류

• 검증 : 소프트웨어 개발 과정 테스트, 개발자 시각
• 확인 : 소프트웨어 결과 테스트, 사용자 시각

◎ 테스트 목적에 따른 분류(회안성 구회병)

• 회복테스트 : 시스템에 고의로 실패유도 후 시스템의 정상적 복귀 여부 테스트
• 안전테스트 : 소스 내 보안적인 결함 미리 점검
• 성능테스트 : 응답시간/반응속도/처리량등을 측정하는 테스트
• 구조테스트 : 시스템 내부 논리 경로/소스 코드의 복잡도를 테스트
• 회귀테스트 : 오류 제거와 수정에 의해 새로 유입된 오류가 없는 지 확인하는 일종의 반복 테스트 기법
• 병행테스트 : 변경된 시스템과 기존 시스템에 동일한 데이터 입력 후 결과 비교

◎ 성능 테스트의 상세 유형(부스스내)

• 부하 테스트 : 시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾음
• 스트레스 테스트 : 임계점 이상의 부하를 가해 비정상적인 상황에서의 처리를 테스트
• 스파이크 테스트 : 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트
• 내구성 테스트 : 오랜 시간 동안 시스템에 높은 부하를 가해 테스트

◎ 테스트 케이스 : 요구사항에 준수하는 지를 확인하기 위해 개발된 입력값, 예상된 결과의 집합

◎ 테스트 시나리오 : 애플리케이션의 테스트 되어야 할 기능 및 특징 , 테스트가 필요한 상황을 작성

◎ 테스트 오라클 : 테스트의 결과가 참인지 거짓인지 판단하기 위해 사전에 정의된 참값을 입력하고 비교하는 기법

-> 테스트 오라클 종류

• 참 오라클 : 모든 입력값에 대해 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출
• 샘플링 오라클 : 특정한 몇 개의 입력 값에 대해서만 기대하는 결과를 제공
• 휴리스틱(추정) 오라클 : 샘플링 오라클을 개선, 나머지 값들에 대해서는 휴리스팅(추정) 처리
• 일관성 검사 오라클 : 애플리케이션 변경이 있을 때, 수행 전과 후의 결과값이 동일한지 확인

◎ 테스트 레벨의 종류

• 단위테스트/통합테스트/시스템테스트
• 인수티스트
• -> 알파테스트 : 선택된 사용자가 개발자 환경에서 통제된 상태로 개발자와 함께 수행
• -> 베타테스트 : 실제 환경에서 일정 수의 사용자에게 소프트웨어를 사용하게 하고 피드백을 받는 테스트

 

10-2. 애플리케이션 통합 테스트

◎ 목(Mock) 객체

• 객체 지향 프로그램에서는 컴포넌트 테스트 수행 시 테스트 되는 메서드가 다른 클래스의 객체에 의존한다. 이런 경우 메서드를 고립화하여 테스트 하는 것이 불가능 하므로 독립적인 컴포넌트 테스트를 위해서는 스텁의 객체지향 버전인 목 객체가 필요하다.

◎ 목 객체 유형

• 더미 객체 : 객체만 필요하고 해당 객체의 기능까지는 필요하지 않은 경우 사용
• 테스트 스텁 : 제어 모듈이 호출하는 타 모듈의 기능을 단순히 수행하는 도구
• 테스트 드라이버 : 테스트 대상 하위 모듈을 호출, 파라미터 전달, 모듈 테스트 수행 후 결과 도출
• 테스트 스파이 : 테스트 대상 클래스와 협력하는 클래스
• 가짜 객체 : 실체 협력 클래스의 기능을 대처해야 할 경우 사용

◎ 통합 테스트의 분류

• 빅뱅 테스트 : 모든 모듈을 동시에 통합 후 테스트
• 상향식 테스트 - 테스트 드라이버
• 하향식 테스트 - 테스트 스텁
• 샌드위치 테스트 : 상향식 + 하양식 테스트/병렬 테스트 가능

◎ 테스트 자동화 도구 유형

• 정적 분석 도구 : 만들어진 애플리케이션을 실행하지 않고, 코딩 표준, 코딩 스타일 등 남은 결함을 발견하기 위해 사용
• 테스트 실행 도구 : 작성된 스크립트 실행 (데이터 주도 접근방식/키워드 주도 접근방식)
• 성능 테스트 도구 : 처리량/ 응답시간/ 경과시간/ 자원 사용률에 대해 가상의 사용자를 생성하고 테스트 수행
• 테스트 통제 도구 : 테스트 관리/ 형상관리/ 결함추적/관리도구

◎ 테스트 하네스 : 애플리케이션 컴포넌트 및 모듈을 테스트하는 환경의 일부분으로, 테스트를 지원하기 위한 코드와 데이터를 말하며, 단위 또는 모듈 테스트에 사용하기 위해 코드 개발자가 작성한다.

-> 테스트 하네스 구성요소

• 테스트 드라이버/ 테스트 스텁
• 테스트 케이스 : 요구사항에 준수하는 지를 확인하기위해 개발된 입력값, 실행조건, 예상된 결과의 집합
• 테스트 슈트 : 테스트 케이스의 집합
• 테스트 스크립트 : 자동화된 테스트 실행 절차에 대한 명세
• 목 오브젝트 : 사용자의 행위를 조건부로 사전 입력해 두면, 그 상황에 예정된 행위 수행

◎ 결합 분석 방법

• 구체화 : 결함을 발생시킨 입력값/ 테스트 절차/ 환경을 명확히 파악
• 고립화 : 어떤 요소가 결함 발생에 영향을 미치는지 분석
• 일반화 : 결함 발생에 영향을 주는 요소를 일반화 시키는 방법

◎  결합 생명주기 : 결함 등록/검토/할당/수정/확인/재등록/조치보류

◎ 결합 추이 분석 : 결함 관리 측정 지표 속성값 들을 분석하고, 향후 애플리케이션의 어떤 모듈 또는 컴포넌트에서 결함이 발생하는지를 추정하는 작업

-> 결합 추이분석의 유형

• 결함 분포 분석 : 각 app 모듈 또는 컴포넌트의 특정 속성에 해당하는 결함의 수 측정해 분석
• 결함 추세 분석 : 테스트 진행 시간의 흐름에 따른 결함 수 측정해 분석
• 결함 에이징 분석 : 등록된 결함에 대해 특정한 결함 상태의 지속 시간을 측정해 분석

 

◎ 결합 심각도별 분류 (치주 보경단)

• 치명적결함 : 기능이나 제품의 테스트 완전히 방해/데이터 손실/시스템 충돌
• 주요결함 : 기능이 기대와 다르게 동작
• 보통결함 : 일부 기능 부자연스러움/사소한 기능 오작동
• 경미한결함 : 사용상의 불편함 유발/UI잘림
• 단순결함 :  사소한 버그/미관성 좋지 않음

 

◎ 결합 우선 순위 : 발생한 결함이 얼마나 빠르게 처리되어야 하는지

• 결정적-높음-보통-낮음

 

10-3. 애플리케이션 성능 개선

◎ 애플리케이션 성능 측정 지표

• 처리량 : 주어진 시간에 처리할 수 있는 트랜잭션(=일의단위)의 수
• 응답시간 : 사용자 입력이 끝난 후 , app의 응답 출력이 개시될 때까지의 시간
• 경과시간 : 사용자가 요구를 입력한 시점부터 트랜잭션을 처리 후 그 결과의 출력이 완료할 때까지 걸리는 시간
• 자원사용률 : 애플리케이션이 트랜잭션을 처리하는 동안 사용하는 CPU 사용량, 메모리 사용량, 네트워크 사용량

 

◎ 데이터베이스 관련 성능 저하 원인

• 데이터베이스 락 : 대량의 데이터 조회/ 과도한 업데이트 시 발생하는 현상
• 불필요한 데이터베이스 패치 : 대량의 데이터 요청이 들어올 경우 응답시간 저하 현상 발생
• 연결 누수 : DB연결과 관련한 JDBC 객체를 사용 후 종료하지 않을 경우
• 부적절한 커넥션 풀 크기 : 너무 작거나 크게 설정한 경우

 

◎ 베드코드 : 다른 개발자가 로직을 이해하기 어렵게 작성된 코드

• 외계인 코드 : 아주 오래되거나 참고 문서 또는 개발자가 없어 유지보수 작업이 어려운 코드
• 스파게티 코드 : 스파게티처럼 코드가 복잡하게 얽힘
• 알수 없는 변수명, 로직 중복

 

◎ 클린코드 : 잘 작성되어 가독성 높고, 단순하며, 의조성을 줄이고, 중복을 최소화해 잘 정리된 코드 클린

• -> 코드 작성원리 : 가단의 중추

◎ 소스 코드 품질분석 도구

- 정적 분석도구

• PMD : 자바 및 타언어 소스 코드에 대한 버그, 데드코드 분석
• CPPCHECK : C/C++ 코드에 대한 메모리 누수, 오버플로우 등 문제 분석
• CHECKSTYLE : 자바코드에 대한 코딩 표준 검사 도구
• AVALANCHE : VALGRIND, STP 기반 소프트웨어 에러 및 취약점 동적 분석 도구
• VALGRIND : 자동화된 메모리 및 스레드 결함 발견 분석 도구

- 동적분석도구

• AVALANCHE : VALGRIND, STP 기반 소프트웨어 에러 및 취약점 동적 분석 도구
• VALGRIND : 자동화된 메모리 및 스레드 결함 발견 분석 도구

◎ 리팩토링 : 유지보수 생산성 향상을 목적으로 기능을 변경하지 않고, 복잡한 소스 코드를 수정, 보완해 가용성 및 가독성을 높이는 방법

 

주요 용어

살충제 패러독스

동일한 TC로 테스트를 진행하면 더 이상 새로운 결함을 찾을 수 없다. 새로운 TC 필요

 오류-부재의 궤변

사용자의 요구사항이 충족되지 않으면 결함이 없다해도 품질이 높다고 볼 수 없다.

워크스루

검토 회의 전 요구사항 명세서를 미리 배포하여 사전 검토 회의롤 통해 결함 발견

인스펙션

요구사항 명세서 작성자를 제외한 다른 검토 전문가들이 결함 발견

동료 검토

요구사항 명세서 작성자가 내용을 직접 설명, 동료들이 이를 들으면서 결함 발견

테스트 커버리지

주어진 TC에 의해 수행되는 SW의 테스트 범위를 측정하여 테스트의 정확성과 신뢰성을 향상시키는 역할을 수행하는 테스트 품질 측정 기준

 테스트

검증/확인, 단위->통합->시스템->인수, 정적/동적, 구조 기반/명세 기반/경험 기반 로 분류 가능.

검증 테스트: 개발자 시각 vs 확인 테스트: 사용자 시각

단위 테스트

사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트 (인터페이스/자료구조/실행경로)

통합 테스트

단위 테스트를 통과한 SW/HW 컴포넌트 간 인터페이스 및 연동 기능을 구조적으로 테스트

하향식 통합(깊이 or 너비 우선, Stub), 상향식 통합(Cluster->Driver), 빅뱅 통합(모든 모듈을 한번에 통합)

시스템 테스트

실제 환경과 최대한 유사한 환경에서 진행 (단위/통합 테스트 통과 후)

인수 테스트

사용자의 입장에서 테스트. 알파 테스트와 베타 테스트가 존재

정적 테스트

명세서나 소스코드를 대상으로 분석하는 테스트 (워크스루, 인스펙션, 코드 검사 등)

동적 테스트

프로그램을 실행하여 오류를 찾는 테스트(블랙/화이트 박스 테스트)

구조 기반 테스트(화이트박스 테스트)

구문 커버리지(모든 명령문 한번씩), 결정 커버리지(모든 결정문이
참과 거짓 수행), 조건 커버리지(모든 결정문 내 각 조건이 참과 거짓 수행), 조건-결정 커버리지(개별 조
건식도 참과 거짓 수행), 다중 조건 커버리지(모든 개별식 조건의 모든 조합 고려)

명세 기반 테스트(블랙박스 테스트)

동등 분할(그룹핑), 경계값 분석, 결정 테이블, 유스케이스, 상태 전이

경험 기반 테스트

테스터의 경험을 기반으로 수행(에러 추정, 체크 리스트, 탐색적 테스팅)

회복(결함->실패 후 올바르게 복구), 안전(침입으로부터 보호), 강도(과부하 시 정상 실행), 구조(논리적 경
로, 복잡도), 회귀(변경된 코드에 새로운 결함 여부), 병행(변경/기존 SW에 동일한 데이터 입력 후 비교)

 맥케이브 순환복잡도

제어 흐름의 정보를 정량적을 표시하는 기법, 간선 수 – 노드 수 + 2

 테스트 하네스

테스트를 지원하기 위한 코드와 데이터를 의미, 개발자가 테스트를 위해 작성함

테스트 오라클

테스트의 결과값이 참인지 거짓인지 판단하기 위해 사전에 정의한 참 값과 비교
참(모든 입력값), 샘플링(몇 개 입력값만), 휴리스틱(나머진 추정), 일관성 검사(변경 전후 비교) 오라클

성능 테스트 도구

APP 처리량, 응답 시간(작업요청~응답도착), 경과 시간(작업의뢰~처리완료) 테스트

자원 사용률

APP이 작업을 처리할 동안의 CPU, MEM, DISK 등의 사용량

외계인 코드

아주 오래되거나 참고문서 또는 개발자가 없어 유지보수 작업이 매우 어려운 코드

 스파게티 코드

실행은 되지만 소스 코드가 얽혀 있어 구조를 파악하기 힘든 코드