제6 장 테스트 지원 도구
테스트 지원 도구
- 테스트 도구 고려 사항
- 테스트 도구의 분류
- 테스트 자동화의 효과와 리스크
- 테스트 실행 및 테스트 관리 도구 고려 사항
도구의 효과적인 사용
- 도구 선택의 주요 원칙
- 도구 도입을 위한 파일럿 프로젝트
- 도구 성공 요인
테스트 지원 도구
테스트 도구 고려 사항
테스트 도구는 하나 이상의 테스팅 활동을 지원하는 데 사용할 수 있으며, 다음과 같은 종류가 있다.
- 테스팅에 직접 사용하는 도구 (예: 테스트 실행 도구, 테스트 데이터 준비 도구)
- 요구사항, 테스트 케이스, 테스트 프로세스, 자동 테스트 스크립트, 테스트 결과, 테스트 데이터, 결함을 관리하고, 테스트 실행 보고와 모니터링을 지원하는 도구
- 분석과 평가에 사용하는 도구
- 테스팅을 지원하는 모든 도구 (이런 의미에서 스프레드시트도 테스트 도구임)
테스트 도구의 분류
테스트 도구를 사용하려는 목적은 다음과 같다.
- 반복적인 작업이나 수동으로 진행했을 때 상당한 리소스를 필요로 하는 작업(예: 테스트 실행, 리그레션 테스팅)을 자동화해서 테스트 활동의 효율성을 높인다.
- 테스트 프로세스 전반에 걸쳐 수동 테스트 활동을 지원해서 테스트 활동의 효율성을 높인다.
- 테스팅의 일관성과 결함 재현성 향상으로 테스트 활동의 품질을 향상한다.
- 수동으로 실행할 수 없는 활동을 자동화(예: 대규모 성능 테스팅)한다.
- 테스팅의 신뢰성을 향상(예: 대규모 데이터 비교 자동화나 동작 시뮬레이션)한다.
테스트 도구는 목적, 가격, 라이선스 모델(예: 상용이나 오픈소스), 사용된 기술에 따라 분류할 수 있다.
| 분류 | 테스트 도구명 |
| 테스팅 및 테스트웨어 관리 지원 도구 |
|
| 정적 테스팅 지원 도구 |
|
| 테스트 설계 및 구현 지원 도구 |
|
| 테스트 실행 및 로깅 지원 도구 |
|
| 성능 측정과 동적 분석 지원 도구 |
|
| 특수 목적 테스팅 지원 도구 |
|
테스트 자동화의 효과와 리스크
테스트 실행 지원 도구의 잠재적 가치
- 반복적인 수동 업무의 감소로 시간 절약(데이터 재입력, 표준 준수 여부 점검 등)
- 일관성과 반복성 제공(일관성 있는 테스트 데이터 생성, 같은 순서와 간격의 데이터 입력)
- 보다 객관적인 평가 기준 제공(정적 테스팅 측정치, 커버리지)
- 테스팅 관련 정보에 접근이 쉬움(테스트 진척도, 결함률, 성능 통계와 그래프)
테스팅 지원 도구의 잠재적 리스크
- 도구에 대한 비현실적인 기대
- 초기 도구 도입에 필요한 시간, 비용, 노력에 대한 과소평가
- 도구로 의미 있고 지속적인 효과를 얻는 데 필요한 노력을 과소평가
- 도구가 생성하는 테스트 작업 산출물을 유지하기 위한 노력의 과소평가
- 도구에 대한 지나친 의존
- 테스트 작업 산출물에 대한 버전의 관리 소홀
- 공급 업체에서 제공하는 도구 환경에서 주요 도구 간의 관계와 상호운용성 관리를 하지 않음
- 업체의 폐업, 판매 중단, 다른 업체에 매각의 위험성
- 지원, 업그레이드, 결함 수정에 대한 업체의 부적절한 대응
- 오픈소스 프로젝트는 연기되거나 중단될 수 있음
- 도구가 새로운 플랫폼이나 기술을 지원하지 않음
- 도구의 소유권이 명확하지 않음
테스트 실행 및 테스트 관리 도구 고려 사항
테스트 실행 도구의 가치를 높이는 노력
- 캡처 기반 테스트 접근법 : 캡처는 좋은 기록 수단이지만 스크립트의 수가 많을 경우 적절치 못하고 1차원적인 표현으로 예상치 못한 이벤트 발생에 취약함. 시스템의 사용자 인터페이스가 시간이 지남에 따라 바뀌게 되면 스크립트도 그에 맞게 계속해서 유지보수를 해 줄 필요가 있다.
- 데이터 주도 접근법 : 접근법은 테스트 입력값과 기대 결괏값을 보통 스프레드시트에 저장하고 더 많은 공통 스크립트를 활용해 해당 테스트 데이터를 읽어 들여 동일한 테스트 스크립트를 매번 다른 데이터로 반복적으로 실행
- 키워드 주도 테스트 접근법 : 키워드 스크립트는 연관된 테스트 데이터를 처리한다.
테스트 관리 도구가 다른 도구나 스프레드시트와 연동해야 하는 이유
- 필요한 정보를 생성하기 위해
- 요구사항 관리 도구에 저장된 요구사항과의 추적성을 지속적으로 유지하기 위해
- 형상 관리 도구에 저장된 테스트 대상 버전 정보와 연결하기 위해
도구의 효과적인 사용
도구 선택의 주요 원칙
조직에 맞는 도구를 선택하는데 주요 고려사항은 다음과 같다.
- 조직의 강점, 약점 등 성숙도 수준 평가
- 도구의 지원으로 테스트 프로세스 개선 기회 식별
- 테스트 대상이 이용하는 기술을 이해해 테스트 대상과 호환 가능한 도구 선택
- 호환과 통합이 가능한 도구 확인을 위해, 조직에서 이미 사용하고 있는 빌드와 지속적인 통합 도구 이해
- 명확한 요구사항과 객관적인 기준에 맞는 도구 평가
- 도구를 일정 기간 무료로 시험해 볼 수 있는지 여부
- 공급자 평가(교육, 지원, 상용 제품) 또는 비 상업적(예: 오픈소스) 도구 지원 평가
- 조직이 요구하는 도구 사용 코칭과 멘토 요구사항 식별
- 도구를 직접 사용할 사람의 테스팅(테스트 자동화 포함) 역량을 고려한 훈련 수요 확인
- 다양한 라이선스 모델(예: 상용 제품이나 오픈소스)의 장단점 고려
- 필요시 구체적인 비즈니스 사례에 근거해 비용 대비 효과 추정
마지막으로 사전 검증(proof-of-concept)을 진행해야 한다
도구 도입을 위한 파일럿 프로젝트
도구 선택과 사전 검증이 성공적으로 끝나면 다음에 선택한 도구를 조직에 도입하는 시점은 주로 파일럿 프로젝트이다.
파일럿 프로젝트의 목적
- 깊이 있는 도구 지식의 습득, 장단점 모두 이해
- 도구를 기존 프로세스와 프랙티스에 어떻게 적용할지 평가하고 무엇을 변경할지 결정
- 도구와 테스트 작업 산출물의 사용, 관리, 저장, 유지보수에 대한 기준 결정 (예: 파일과 테스트를 명명하는 규칙 결정, 코딩 표준 선택, 라이브러리 생성, 테스트 스위트의 모듈성 정의)
- 목표한 가치를 적절한 비용으로 달성할 수 있는지 평가
- 도구에서 수집하고 보고하기를 희망하는 메트릭을 이해하고 그런 메트릭을 도출하고 보고할 수 있도록 도구를 설정
도구 성공 요인
도구를 사용함으로써 성공 요인은 다음과 같다.
- 조직의 다른 부서에 도구 사용 전파를 점진적으로 진행
- 도구의 사용법에 맞게 프로세스를 수정하고 개선
- 도구 사용자에게 교육, 코칭, 멘토링 제공
- 도구사용에 필요한 지침을 정의 (예: 사내 자동화 규정)
- 실제 도구 사용에서 얻은 사용법 정보의 수집 방법 구현
- 도구 사용 현황과 성과를 모니터링
- 특정 도구 사용자에게 지원 제공
- 모든 사용자로부터 사용 후 교훈 수집
'자격증 > CTFL' 카테고리의 다른 글
| [ISTQB] 5장 테스트 관리 (0) | 2022.12.30 |
|---|---|
| [ISTQB] 4장 테스팅 기법 (0) | 2022.12.30 |
| [ISTQB] 3장 정적 테스팅 (0) | 2022.12.29 |
| [ISTQB] 2장 소프트웨어 개발 수명주기와 테스팅 (0) | 2022.12.29 |
| [ISTQB] 1장 테스팅의 기초 요약 (0) | 2022.12.29 |