AI 시대, 개발자의 핵심 역량으로 떠오르는 '전문적 회의주의'

전문적 회의주의의 부상

BrowserStack의 개발자 옹호 및 오픈소스 부서 책임자이자 W3C 브라우저 테스팅 및 도구 워킹 그룹 의장인 데이비드 번스는 최근 스택 오버플로우 팟캐스트에서 QA(품질 보증) 엔지니어의 핵심 역량인 '전문적 회의주의(professional skepticism)'가 AI 및 에이전트 엔지니어링 시대에 모든 엔지니어에게 가장 중요한 기술이 될 수 있다고 강조한다. 이 관점은 소프트웨어 개발의 신뢰성과 품질을 확보하는 데 있어 인간의 비판적 사고와 검증 역할의 중요성을 재조명한다.

QA 전문가는 시스템을 분석하고 잠재적 오류를 예측하며, 사용자 경험에 대한 공감적 이해를 바탕으로 소프트웨어의 문제점을 파악하는 데 능숙하다. 이러한 비판적 접근 방식은 AI가 생성하는 코드와 시스템의 복잡성이 증가함에 따라 더욱 필수적인 역량으로 부각된다. AI는 정확성에 초점을 맞추지만, 보안, 성능, 사용자 의도 등 다양한 측면에서 인간의 검토와 판단이 필요하다.

에이전트 엔지니어링과 테스트 전략

에이전트 엔지니어링 환경에서 테스트 주도 개발(TDD)은 기존 소프트웨어 개발 방식과 유사하게 적용된다. 제품 요구사항 문서(PRD)를 기반으로 필요한 API 경로 등을 정의한 후, 두 단계의 커밋 프로세스를 따른다. 첫 번째 단계에서는 AI 에이전트가 테스트 코드를 작성하고, 두 번째 단계에서는 해당 테스트를 통과시키는 코드를 작성한다.

AI 에이전트가 작성한 테스트 코드의 변경은 반드시 인간의 개입과 승인을 거쳐야 한다. 이는 AI가 코드 작성 시 놓칠 수 있는 가정을 인간이 검토하고 확인하기 위함이다. AI는 환각(hallucinations) 현상이 발생할 수 있고, 사용자에게 "기쁨을 주는" 경향이 있어 프롬프트에 무조건적으로 응답하려 하므로, AI가 생성한 모든 결과물에 대한 인간의 비판적 검토(human in the loop)가 필수적이다.

효과적인 테스트 전략은 유닛 테스트, 컴포넌트 테스트, 종단 간(end-to-end) 테스트로 구성된 테스트 피라미드를 따른다. 피라미드를 역전시키거나 '테스팅 크리스마스 트리' 형태로 만드는 것은 문제를 야기할 수 있다. 컴포넌트 테스트는 네트워크 모킹을 통해 외부 의존성을 제한할 수 있으며, 종단 간 테스트는 위험 기반으로 접근하여 핵심 워크플로우나 접근성 테스트 등 중요한 시나리오에 집중해야 한다. 또한, 관찰 가능성(observability) 도구를 추가하여 실제 사용자 데이터를 기반으로 품질 게이트를 개선할 수 있다.

테스트 자동화의 과제와 해결 방안

테스트 자동화 도구(Selenium, Cypress, Puppeteer, Playwright 등)에서 발생하는 '플래키(flaky) 테스트'는 도구 자체의 문제라기보다는, 비동기적으로 동작하는 웹 애플리케이션과 동기적으로 작성된 테스트 스크립트 간의 불일치에서 기인하는 경우가 많다. 테스트 스크립트가 특정 요소의 즉각적인 존재를 기대하지만, 실제 시스템은 비동기적으로 데이터를 처리하여 지연이 발생할 수 있다.

플래키 테스트를 줄이기 위해서는 테스트가 '알려진 시작 상태(known start)'에서 시작하여 '하나의 기능만 잘 수행'하고, 다시 '알려진 시작 상태로 돌아오는' 세 가지 원칙을 준수해야 한다. 테스트 스위트의 규모가 크다면, 전체 테스트 중 5% 정도의 플래키니스 비율은 허용될 수 있으나, 이 비율의 변화를 지속적으로 모니터링하여 증가 시 대응해야 한다. CI(지속적 통합) 시스템의 실행 시간은 10분을 넘지 않도록 관리하는 것이 이상적이다.

AI는 자동화 속도를 높일 수 있지만, 자동화는 QA의 여러 측면 중 하나일 뿐이다. 보안, 성능, 데이터 해석 등 복잡한 QA 영역은 자동화만으로 해결하기 어렵다. AI는 3~4년 전 정보로 학습되었을 수 있으므로, 새로운 아이디어나 기술 변화에 대한 이해가 부족할 수 있다. 따라서 AI의 결과물을 항상 검토하고 도전적인 자세로 접근해야 한다.

보안 및 개발 관행의 재정립

AI 기반 개발 환경에서 과거의 보안 모범 사례들이 간과되는 경향이 있다. 데이터베이스에 대한 루트 접근 권한 제한, 특정 머신에 대한 접근 제한, 민감한 작업에 대한 명시적인 승인 절차 등은 보안 및 보호를 위해 필수적인 관행이었다. 그러나 현재는 AI 에이전트가 감사나 승인 없이 외부 패키지를 가져오거나, 심지어 프로덕션 데이터베이스를 삭제하는 등의 실수를 저지를 수 있는 환경이 조성되고 있다.

이러한 문제들은 개발자들이 Docker 이전 시대로 회귀하는 듯한 실수를 반복하고 있음을 시사한다. AI 오케스트레이션(orchestration) 과정에서 표준화된 보안 메커니즘이 부족하며, 이는 공급망 공격(supply chain attacks)과 같은 보안 위협에 더욱 취약하게 만든다. 따라서 AI 에이전트의 권한을 엄격히 제한하고, 중요한 작업에 대한 명시적인 승인 및 감사 절차를 재도입하는 것이 중요하다.

인간의 판단력과 미래 QA의 역할

AI와 자동화가 보편화될수록, 인간의 판단력, 통찰력, 그리고 '취향(taste)'이 더욱 중요해진다. 특히 시니어 테스터의 역할은 자동화된 테스트와 탐색적 테스팅(exploratory testing)을 유기적으로 연결하여, 인간이 애플리케이션과 상호작용하는 방식에 대한 깊은 이해를 바탕으로 품질을 평가하는 데 집중하게 된다.

QA는 코드의 품질에 대한 '신뢰'를 구축하는 과정이다. AI가 개발 속도를 높일 수 있지만, 궁극적으로 소프트웨어의 품질과 신뢰성을 보장하는 것은 인간의 비판적 사고와 경험에서 우러나오는 판단력이다. 따라서 개발자들은 테스트 과정에서 발생하는 문제의 근본 원인을 파악하고, AI의 한계를 인지하며, 항상 그 결과물을 의심하고 검증하는 '전문적 회의주의'를 견지해야 한다.