소프트웨어 시스템이 점점 더 복잡해지면서 시스템의 외부 출력을 기반으로 내부 상태를 이해하는 능력(관측성)은 개발자와 운영 팀에게 중요한 실천 방법이 되었습니다.
전통적인 관찰 접근법만으로는 현대 애플리케이션의 규모와 복잡성을 따라갈 수 없으며, 더불어 텔레메트리 데이터 양이 증가함에 따라 이를 관리하고 분석하는 것 또한 점점 비용이 많이 들고 복잡해지고 있습니다.
데이터 수집 및 분석의 필요성
이러한 관측성을 혁신하기 위해, 우리는 인공지능을 적극적으로 활용할 수 있습니다.
AI 관측은 대형 언어 모델(LLM), 검색 증강 생성(RAG) 시스템 및 기타 AI 구성 요소와 같은 AI 인프라 자체를 모니터링하고 시각화하는 실천 방법입니다. AI 시스템이 생산 환경에서 더욱 인기를 얻으며 성능과 신뢰성을 보장하는 것은 더욱 중요해지고 있습니다.
예를 들어 LLM을 사용하여 개인 맞춤형 제품 설명을 생성하는 전자 상거래 회사의 경우, LLM의 성능을 모니터링하고 잠재적인 편향을 감지하며, 그 결과물이 회사의 브랜드와 가치와 일치하는지 확인하는 것이 AI 관측성의 영역에 속한다고 할 수 있습니다.
또한, 이 AI 기반 관측 접근 방식은 데이터 수집 과 분석부터 시각화와 통찰력까지 관찰성의 다양한 측면을 개선하기 위해 전통적인 소프트웨어 관측 도구와 관행을 어떻게 향상시키고 변형시킬 수 있는지 탐구합니다. 다음으로는 AI가 중요한 영향을 줄 수 있는 몇 가지 영역을 살펴보겠습니다.
데이터 수집 & 샘플링
관측에서 가장 큰 어려움 중 하나는 어떤 텔레메트리 데이터를 수집할 것인지와 얼마나 많은 데이터를 샘플링할 것인지를 결정하는 것입니다. 이러한 과제를 해결하기 위해 AI 기법, 예를 들어 이상 감지와 지능적인 샘플링과 같은 기술들이 도움이 될 수 있습니다. 이들은 관련된 패턴을 식별하고 가장 가치 있는 데이터 포인트를 우선 순위에 따라 최적화하는 데 도움이 됩니다. 예를 들어 AI 모델은 로그 데이터를 실시간으로 분석하여 이상한 패턴이나 이벤트를 감지하고, 샘플링 속도나 데이터 수집 전략을 동적으로 조정할 수 있습니다.
문제 해결을 위한 AI 어시스턴트
AI 기반 관측의 가장 흥미로운 전망 중 하나는 "observability copilot"의 개발입니다. 이는 로그, 메트릭 및 추적을 분석하고 원인을 식별하는 등의 작업을 수행할 수 있는 AI 기반 어시스턴트로, 보다 자연스러운 대화를 나눌 수 있습니다. 개발자들은 여러 시스템의 로그를 조사하고 복잡한 쿼리를 작성하는 대신 자연스럽게 대화를 나누면서 문제를 해결할 수 있습니다. 이러한 AI 어시스턴트는 자연어 처리(NLP)와 기계 학습(ML)을 이용하여 이러한 질문을 이해하고 관련된 관측 데이터를 분석하여 실행 가능한 통찰력과 추천을 제공할 수 있습니다. 이 대화형 접근 방식을 통한 문제 해결은 개발자가 문제를 해결하는 데 필요한 시간과 노력을 크게 줄일 수 있으며, 관찰성 도구와 쿼리 언어에 익숙하지 않은 사람들에게 진입 장벽을 낮출 수 있습니다.
데이터 관리 최적화
기존의 관측 도구는 텔레메트리 데이터를 처리하기 위해 시계열 데이터베이스를 사용하지만, 데이터 양이 증가함에 따라 데이터베이스를 관리하는 것은 더 복잡해졌고, 더 많은 비용이 필요해졌습니다. AI는 데이터 저장 및 관리를 최적화하는 솔루션을 제공합니다. 이는 원시 데이터를 저장하는 대신 데이터 내의 패턴을 학습하여 효율적으로 요약함으로써 저장 비용을 줄이고 쿼리 성능을 향상시킵니다.
예측적인 통찰력
기존의 관측 도구가 현재와 과거의 시스템 상태에 대한 통찰력을 제공했다면, AI는 더 나아가 예측 능력을 제공합니다. 과거 데이터를 분석하여 잠재적인 문제를 예측할 수 있으며, 특정 서비스의 확장이나 설정 조정과 같은 적극적인 조치를 가능하게 하여 문제가 발생하기 전에 예방하거나 완화할 수 있습니다.
데이터 개인 정보 보호와 보안 :
관측 데이터에는 사용자 데이터 및 시스템 구성과 같은 민감한 정보가 포함될 수 있습니다. 이러한 개인 정보 보호와 보안 위험을 줄이기 위해서는 엄격한 데이터 개인 정보 보호 및 보안 프로토콜을 준수해야 합니다. (AI 모델이 처리되기 전에 데이터가 적절하게 익명화되거나 마스킹되어야 합니다.) 예를 들어 AI 모델은 로그 데이터를 실시간으로 분석하여 이상한 패턴이나 이벤트를 감지하고, 샘플링 속도나 데이터 수집 전략을 동적으로 조정할 수 있습니다.
데이터 소유권 & 공유 :
일부 기관은 데이터 소유권과 지적 재산권에 대한 우려로 인해 관측 데이터를 서드파티 AI 제공업체와 공유하는 데 주의를 기울일 수 있습니다. 이러한 우려는 특히 클라우드 기반 서비스로 제공되는 AI 기반 관측 솔루션의 채택을 제한할 수 있습니다.
신뢰와 설명 가능성 :
AI 모델은 가치 있는 통찰력과 권고를 제공하지만, 충분한 이해없이 무작정 신뢰하는 것은 적절하지 않을 수 있습니다. 설명 가능성과 투명성을 우선시해야 하며, AI의 결정과 권고의 근거를 이해할 수 있어야 합니다.
기술과 문화적 적응 :
AI 기반 관측성을 도입하기 위해서는 개발 및 운영 팀의 기술력을 향상시키고 조직 내에서 문화적 변화를 촉진해야 합니다. 팀은 새로운 기술과 작업 흐름을 받아들이고, 리더는 원활한 채택 프로세스를 위해 필요한 교육과 지원을 제공해야 합니다.
AI 기반 관측은 AI의 잠재적 이점을 활용하여 운영 우수성, 탄력성, 그리고 혁신을 향상시켜 기업이 시스템을 최적화하고 문제를 선제적으로 대응할 수 있는 방법입니다. AI 기반 관찰성을 채택함으로써 조직은 현대의 디지털 환경에서 효율성과 성장을 이끌어내는 전략적 기회를 가질 수 있습니다.
Originally by SmartBear | May 27, 2024 | https://smartbear.com/blog/observability-meets-ai/
