OctoPerf 는 JMeter™ 오픈 소스 테스트 소프트웨어를 활용하는 기업을 위해 설계된 솔루션으로, 테스트 우수성을 추구하는 팀에게 고품질, 사용 편의성, 그리고 보안성을 모두 제공합니다. 대규모 팀이 테스트, 보안, 보고서를 한눈에 공유하며 협업할 수 있도록 돕는 OctoPerf 는 벤더 종속 없이 필요한 기능을 합리적인 가격으로 제공하여 효율적인 테스트 환경을 구현하는 툴입니다.
OctoPerf v15.1 업데이트
이번 블로그 글에서는 OctoPerf의 최신 릴리스 버전 15.1에 대해 다루며, 특히 지속적인 통합(Continuous Integration)과 DevOps 워크플로우를 위한 지원 강화에 초점을 맞추었습니다. 이번 업데이트에서는 기존 통합 기능이 강조되는 동시에 여러 새로운 기능이 추가되었습니다. 그 중에서도 새로운 보고서 유형이 추가되어 플랫폼의 기능이 더욱 확장되었습니다.
플러그인이나 API를 사용해 OctoPerf 테스트를 자동화하는 것은 기존에도 가능했지만, 이러한 통합을 설정하는데는 일정 수준의 전문성이 필요했습니다. 이를 간소화하기 위해 버전 15.1에서는 새로운 마법사(wizard) 기능과 테스트 종료 시 PDF 보고서를 자동으로 생성하는 기능이 도입되었습니다.
- 더 쉬운 통합
런타임 화면 하단의 통합 패널에서는 OctoPerf 외부에서 부하 테스트를 실행하기 위한 주요 도구를 제공합니다:
사용자가 원하는 통합을 선택하면, 세부적인 설정 과정을 안내하는 마법사가 실행됩니다. 이 마법사는 타사 도구 설치부터 OctoPerf 테스트 자동화 설정까지 모든 단계를 포함합니다:
각 통합 예제는 작업 공간 및 프로젝트 세부 사항이 미리 채워져 있으며, API 키 관리에 대한 보안 모범 사례도 포함되어 있습니다. 예를 들어 API 키는 XML 파일에 포함되지 않고 명령줄을 통해 제공되며, 키와 프로젝트를 안전하게 보호하기 위한 가이드라인도 함께 제공됩니다. 이를 통해 새로운 시스템을 배우는 데 많은 시간을 할애하지 않고도 안전하게 OctoPerf 테스트를 실행할 수 있습니다:
HTTP API의 경우 테스트를 실행할 수 있는 명령줄 예제가 제공되며, 다양한 프로그래밍 언어로 명령을 생성할 수 있는 유연성을 제공합니다:
이러한 맞춤형 기능을 통해 사용자는 몇 번의 클릭만으로 상황에 맞는 예제를 얻을 수 있습니다. 또한 새로운 사용 사례와 피드백에 따라 시스템은 더욱 직관적으로 개선될 것으로 기대됩니다.
- PDF 보고서
이전에는 플러그인이나 API를 통해 테스트 종료 시 PDF 보고서를 생성할 수 있었습니다. 하지만 이번 업데이트를 통해 이 기능이 알림 시스템에 통합되어 보다 간단하게 사용할 수 있게 되었습니다. 사용자는 테스트 완료 시 PDF 보고서를 자동으로 생성하고 이메일로 전송하도록 OctoPerf를 설정할 수 있습니다:
알림 필터 기능과 결합하면 특정 테스트에 대해서만 PDF 보고서를 받도록 설정할 수 있어, 불필요한 알림을 줄이고 워크플로를 효율적으로 관리할 수 있습니다.
- 추세 보고서
OctoPerf의 강력한 보고 기능은 이미 잘 알려져 있지만, 버전 15에서는 새로운 트렌드 보고서 기능을 추가하여 이를 더욱 강화했습니다. 이 기능은 최대 25개의 테스트를 단일 보고서에서 비교할 수 있도록 하여 기존의 비교 보고서(최대 4개의 테스트 비교 제한)를 확장합니다.
추세 보고서는 테스트별 세부 정보는 줄이되, 더 많은 테스트를 포함할 수 있는 중간 접근 방식을 채택했습니다. 이는 DevOps나 CI 파이프라인에서 부하 테스트가 정기적으로 실행되는 경우에 특히 유용합니다:
추세 보고서에서는 사용자가 지정한 기준 결과를 기준으로 메트릭을 비교할 수 있어, 테스트 성능을 기준값과 비교한 인사이트를 제공합니다.
또한 새로운 보고서 항목으로 테스트 간의 차이를 강조할 수 있으며, 스택형 막대 차트와 같은 시각화 요소를 통해 변화를 보다 효과적으로 나타낼 수 있습니다.
추세 보고서를 생성할 때, 사용자는 정적 추세를 선택하거나 새 테스트가 추가될 때마다 자동으로 업데이트되는 동적 추세를 선택할 수 있습니다. 이러한 유연성은 다양한 테스트 요구 사항에 맞게 기능을 활용할 수 있도록 합니다.
- 데이터 생성 기능
테스트를 위한 실제 데이터와 유사한 데이터셋을 생성하는 작업은 많은 시간과 노력이 필요합니다. 이를 간소화하기 위해 OctoPerf는 플랫폼 내에서 가상 데이터셋을 직접 생성할 수 있는 기능을 추가했습니다. 이 기능은 모든 CSV 변수에 사용할 수 있습니다.
사용자는 로케일을 선택하고 필요한 데이터 유형을 지정할 수 있습니다. 설정이 완료되면 생성된 파일의 미리보기를 확인할 수 있습니다.
생성된 파일은 파일 메뉴에서 액세스할 수 있으며, 다운로드하거나 필요에 따라 수정할 수 있습니다.
- 검증 맵
디자인 페이지의 검증 패널이 런타임 화면에 있는 위치 선택기와 동일한 인터랙티브 맵을 포함하도록 업데이트되었습니다.
이 개선 사항은 신규 사용자가 가상 사용자 검증의 목적을 더 잘 이해하도록 돕고, 설정 과정에서 발생할 수 있는 오류를 줄이는 데 기여할 것으로 기대됩니다.
- 보고서 요약에서 시간 범위 표시
테스트 결과에 시간 범위 필터를 적용하면 특정 구간에 대한 분석을 집중적으로 수행할 수 있습니다. 하지만 필터가 활성화된 경우 이를 명확히 알기 어렵다는 점에서 혼란이 발생할 수 있었습니다.
이를 개선하기 위해, 이제 시간 범위가 각 보고서 상단의 테스트 요약에 명확히 표시됩니다.
이 그래프는 다음 두 가지 주요 정보를 포함합니다:
- 계획된 테스트 지속 시간과 실제 테스트 종료 시간의 비교(점선으로 표시됨)
- 다른 그래프 전반에 배경색으로 강조된 필터 된 시간 범위
- 미리보기 탭
이전에는 플랫폼 내 목록을 탐색할 때 항목을 열기 위해 더블 클릭이 필요했으며, 이는 너무 많은 탭이 열려 혼란을 초래하는 경우가 있었습니다. 이를 간소화하기 위해, 미리보기 탭이 새롭게 추가되었습니다.
이제 한 번의 클릭만으로 첫 번째 탭에서 미리보기를 열 수 있으며, 사용자가 다른 항목을 클릭할 때마다 탭 내용이 동적으로 업데이트됩니다. 이 탭은 기울임꼴로 표시된 이름으로 쉽게 식별할 수 있습니다.
만약 특정 항목을 계속 열어두고 싶다면, 더블 클릭을 통해 별도의 영구적인 탭을 생성할 수 있습니다. 이 새로운 동작은 OctoPerf의 모든 목록에 적용됩니다:
- 클릭 가능한 요소의 시각적 개선
플랫폼 내 상호작용 가능한 텍스트 요소가 항상 명확하게 구분되지 않아 기능을 파악하기 어려운 경우가 있었습니다. 사용성을 향상시키기 위해, 클릭 가능한 모든 텍스트에 밑줄을 추가하여 상호작용 가능함을 나타내도록 개선했습니다.
예를 들어, 사용자 프로필이나 “Add first runtime property”와 같은 버튼 아래의 텍스트는 이제 클릭 가능한 요소로 명확히 표시됩니다.
