Neptune 은 실험 추적을 위한 MLOps 스택 컴포넌트로, 실험과 모델을 기록하고, 비교하고, 저장하고, 협업할 수 있는 단일 공간을 제공합니다. neptune은 모델 구축 메타데이터를 로깅하고 쿼리하기 위한 Python API와 시각화, 비교, 모니터링 및 협업을 위한 웹 앱으로 구성되어 있습니다.
자율 주행 분야의 선도주자 Waabi의 도입 사례를 통해 Neptune의 실험 데이터 가시성 및 접근성의 이점에 대해 설명해 보겠습니다.
|
neptune.ai를 사용하기 전:
|
neptune.ai를 사용한 이후:
|
|
|---|---|---|
|
실험 추적 솔루션 부재
|
한 곳에서 모든 실험 추적
|
|
|
조직 내 모델 학습 데이터 공유 어려움
|
팀 내 및 조직 전체에 대한 가시성 보장
|
|
Waabi는 자율주행 트럭의 차세대 기술을 개발하고 있으며, 기업의 목표는 대규모로 사용할 수 있는 자율주행 트럭용 솔루션을 개발하는 것입니다.
Waabi는 모든 프로젝트와 데이터 세트에 걸쳐 통합된 데이터 학습 워크플로우를 갖추고 있습니다. 모든 팀에서 다양한 작업에 대한 실험을 지속적으로 실행하면서 반복적으로 모델을 세부적으로 조정하고 결과를 정기적으로 기존 벤치마크와 비교하며 모델을 개선합니다. 또한 작업하는 프로젝트에 따라 하루에 10개 이상의 학습 작업과 실험을 실행하는 경우가 많습니다. 자율 시스템이 작동하려면 지리적 위치, 주변 사물과 장소, 주변 에이전트의 행동 등 환경에 대한 복잡한 이해를 바탕으로 어떤 조치를 취할지 결정해야 하므로 다양한 유형의 데이터가 필요하기 때문입니다.
Neptune를 반영한 이후 Waabi는 모든 실험 실행 결과를 한 곳에서 정리할 수 있게 되었습니다. 모든 팀원이 하나의 작업 공간에 액세스하여 팀 내 또는 여러 팀 간에 실험을 공유 가능함으로 협업과 지식 전달이 훨씬 쉬워졌습니다. 이는 Waabi의 실행 중인 실험을 쉽게 추적함으로써 팀 생산성을 개선 시키고 조직에서 지출하는 오버헤드비용을 현저히 감소시켰습니다.
또한, Waabi에서 운영하는 일부 모델은 다른 모델보다 데이터 사용량이 더 많습니다. 데이터 증강과 같은 오프라인 인식 작업의 경우, 시스템은 많은 학습 리소스와 더 많은 분산 작업, 작업자당 많은 GPU, 많은 작업자가 필요한 대규모 모델을 사용하게 됩니다. 코드가 작동하는지 확인하기 위해 개발자의 컴퓨터에서 개발을 시작한 다음 데이터 세트가 증가함에 따라 클라우드에서 실행하는 방식으로 빠르게 전환하고 확장하는 경우가 많기 때문에 워크로드의 확장성이 우수해야 합니다. 물론 이러한 경우에도 neptune의 리소스 모니터링 기능으로 해결할 수 있습니다.
Neptune의 리소스 모니터링 기능은 하드웨어 사용량 및 콘솔 로그(stderr 및 stdout)와 같은 시스템 메트릭을 제공합니다. 해당 기능으로 :
- 사용량을 실시간으로 모니터링하여 리소스를 효율적으로 실행
- 메모리, GPU 또는 기타 리소스가 한도에 근접하면 사용량을 조정하여 충돌을 방지
- 모델 또는 데이터 변경이 사용량에 미치는 영향을 확인하여 리소스를 스마트하게 확장할 수 있습니다.
리소스 모니터링을 잘 보완하는 또 다른 기능은 원격 중지 기능입니다. 문제가 발생할 경우 클라우드 학습 작업을 종료할 필요 없이 클라우드 인프라 중심의 대시보드를 이동하지 않고도 Neptune UI에서 바로 중지할 수 있습니다.
이처럼 Waabi는 실험 추적을 위한 MLOps 스택 컴포넌트인 Neptune를 통해 대규모 실험 워크플로우에서 조직 전체에 대한 가시성을 확보하면서 강화 학습 워크플로우에서 컴퓨팅 리소스 모니터링을 통해 기업을 성공적으로 이끌어 가고 있습니다.
Originally by Neptune.ai – Waabi | October 31, 2023 | https://neptune.ai/customers/waabi
