철학
*Khala는 완벽한 정확성을 보장하는 것이 아니라, 시스템의 응답 신뢰도를 측정 가능한 답변 근거 수준에 일치시키는 **보정(Calibration)*을 목표로 합니다. 답변 근거 패킷이 담보하는 범위를 초과하는 확신도 표출을 구조적으로 차단합니다.
시스템 연계 백본 (Khala Link)
Khala는 독립적으로 동작하는 엔지니어링 도구군(Nexus, Archon, Arbiter, Adept, Probe, Observer)을 단일화된 보정 규약 하에 상호 운용 가능하도록 결합하는 공유 지식 및 거버넌스 백본(Backbone)입니다. Khala 자체는 독립 실행형 CLI나 데몬이 아니며, 도구들이 상호 참조하는 프로토콜이자 규약 체계입니다. 각 도구는 분산된 지식과 상태를 단일 공유 계층 위에 정합화하고, 자체 추론의 근거 유효성과 불확실성을 명시적으로 노출합니다.
대규모 언어 모델(LLM)은 높은 생성 유창성을 가지나, 답변 근거의 유무와 무관하게 일정한 확신도를 출력하는 경향을 보입니다. 이러한 특성은 소프트웨어 엔지니어링 공정에서 단일 도구로 차단하기 어려운 두 가지 대표적 실패 모드를 유발하며, Khala는 이를 구조적/결정론적으로 방어하기 위해 설계되었습니다.
단일 공유 계층 위의 4대 정보 영역
Khala는 소프트웨어 시스템을 설계, 구현, 운영하는 엔지니어와 자율 에이전트가 **동일한 정본 정보(Single Source of Truth)**에 입각하여 판단하도록 인터페이스를 단일화합니다. 엔지니어링 조직에서 발생하는 정보는 4개 영역으로 구분되며, 각각 서로 다른 갱신 주기와 성격을 가집니다:
- 도메인 및 조직 지식 — 사양서, 설계 문서, 정책, 운영 가이드. 단일 지식 코퍼스에 영속화되며 인간용 웹 인터페이스와 에이전트용 프로토콜(MCP/A2A)을 통해 동일하게 조회됩니다. (Nexus)
- 아키텍처 및 설계 결정 이력 — 설계 의사결정 기록(ADR/SDD). 에이전트가 생성하는 다수의 세부 결정 사항을 추적 가능한 구조화 레코드로 기록하고, 인간 승인자의 검증을 거쳐 확정됩니다. (Arbiter)
- 런타임 운영 상태 — 분산 트레이스, 메트릭, 로그. 텔레메트리 데이터를 정적 사양서 및 런북과 결합하여 장애 분석 및 PR 영향도 평가에 필요한 실행 컨텍스트를 구성합니다. (Observer, Nexus 기반)
- 엔지니어링 시스템 인지 보증 — 시스템 이해도 지표. 소스코드와 명세가 고도화됨에 따라 발생하는 엔지니어의 이해 결손(인지 부채)을 측정합니다. 지식 코퍼스를 분모(필수 인지 대상)로 하고, 엔지니어의 검증된 이해(Vouch)를 분자로 하여 인지 부채를 정량화합니다. (Adept)
인지 부채 측정 도구(Adept)는 별도의 격리된 시스템이 아니라, Nexus와 Arbiter가 관리하는 지식 코퍼스를 감사 대상 원장(Ledger)으로 직접 참조함으로써 정량적 Vouch 커버리지를 유지합니다.
실패 모드 1 — 모델 환각 및 무근거 답변 생성
첫 번째 실패 모드는 언어 모델이 만료되었거나 부정확한 사양을 높은 확신도와 함께 단언하는 현상입니다. 도메인 불변식, 업무 규칙, 상태 코드의 정의 등에 대해 질의할 때, 모델은 사실에 부합하지 않는 응답을 임의로 생성할 수 있습니다.
- Archon은 도메인 불변식에 대한 권위 창(Authority Window) 인터페이스를 제공합니다. 시스템 식별자, 상수, 필수 비즈니스 규칙을 런타임 소스코드 상수에 직접 매핑하여 결정론적으로 검증 및 반환합니다.
- Nexus는 검색 증강 생성(RAG) 파이프라인에서 답변 근거 스니펫이 전혀 검색되지 않을 때 생성을 기각(Abstention)하고 고정 문구를 반환합니다. 인용 표기의 출처 부합성과 답변 수치의 답변 근거 실재성은 생성 후 결정론적으로 검증되어 응답에 값으로 반환되며, 그중 인용 쪽만 미검증 비율로 집계됩니다.
실패 모드 2 — 인간 검토자의 러버스탬핑
두 번째 실패 모드는 인지적 피로 또는 에이전트 산출물에 대한 맹신으로 인해 인간의 코드/사양 검토가 형식적 행위로 전락하는 현상입니다. 복잡한 diff와 계획서에 대해 실질적 검증 없이 승인이 이루어질 경우 시스템 품질 게이트가 무력화됩니다.
- Arbiter는 의사결정과 사양 승인 절차를 코드 구현 선행 게이트로 격상합니다. 승인 주체, 승인 시점, 변경 사유 및 본문 무결성 해시(Content Hash)를 결정 원장에 영속화하여, 모든 아키텍처 변경에 대해 감사 추적성을 강제합니다.
잠재적 품질 결함 — 피상적 테스트 커버리지
자동 생성된 단위 테스트는 문법적으로 유효하고 실행에 성공하여 코드 커버리지를 상승시키더라도, 실제 비즈니스 로직의 결함을 검출하지 못하는 단언문 부재나 부적절한 Mock 의존성을 가질 수 있습니다.
- Probe는 변이 테스트(Mutation Testing) 하니스를 통해 소스코드의 구문을 결정론적으로 조작하고, 기존 테스트 스위트가 해당 변이를 실패로 검출하는지 측정합니다. 이를 통해 명목상의 라인 커버리지가 아닌 실질적 결함 검출 능력을 정량 지표로 제시합니다.
보정(Calibration) 아키텍처 명제
Khala의 전 도구군은 시스템의 표출 확신도와 실제 검증된 지식 간의 불일치를 최소화하는 **보정(Calibration)**을 공통 불변식으로 삼습니다:
- Archon: 도메인 주장을 코드베이스의 정적 불변식 상수에 매핑
- Nexus: 생성된 답변을 인용 가능한 원천 답변 근거 패킷에 매핑
- Arbiter: 아키텍처 변경 승인을 책임 귀속형 원장에 매핑
- Probe: 테스트 스위트의 유효성을 변이 검출 실패율에 매핑
- Adept: 조직의 이해도 주장을 정량화된 Vouch 커버리지에 매핑
생태계 도구별 보정 역할 매트릭스
| 도구 식별자 | 아키텍처 정체성 | 보정 대상 영역 | 적용 대상 | Khala 위상 | 실행/개입 시점 |
|---|---|---|---|---|---|
| Nexus | 정합성 검증 지식 베이스 | 지식 및 텔레메트리 (답변 근거 부재 시 기각) | 전 엔지니어링 에이전트 및 사용자 | 중앙 지식 공유 계층 | 실시간 질의응답 시 |
| Archon | 도메인 불변식 권위 창 | 시스템 상수 및 핵심 비즈니스 규칙 | 개발자, 아키텍트, 에이전트 | 불변식 공급 및 검증 인터페이스 | 실시간 질의응답 시 |
| Arbiter | 의사결정 및 사양 원장 | 아키텍처 설계 및 승인 책임성 | 기술 의사결정권자 | 승인 사양 공급자 | 코드 구현 선행 게이트 |
| Observer | 근거 기반 분석 에이전트 | PR 변경 범위, API 계약, 런타임 장애 | 코드 검토자 및 운영자 | 지식/텔레메트리 소비자 | 코드 병합 전 및 장애 분석 시 |
| Probe | 뮤테이션 테스트 하네스 | 테스트 스위트의 결함 검출 신뢰도 | 단위/통합 테스트 작성자 | 자문 품질 하니스 | 로컬 실행 자문 리포트 |
| Adept | 인지 부채 정량 계측기 | 시스템 명세 및 지식 엔지니어 서약 유효성 | 엔지니어링 조직 및 리드 | 코퍼스 감사 소비자 | 상시 (지식 갱신 시 만료 감지) |
도구 간 연계 구조 및 인터페이스 토폴로지
Khala 아키텍처의 핵심 원칙은 생산자 도구 간의 직접적인 상호 호출을 금지하고, 모든 지식 교환을 Khala 표준 인터페이스 및 공유 코퍼스 계층을 통해 중계하는 것입니다.
도구 간 개별적인 (N^2) 연계 대신 중앙 거버넌스 허브 토폴로지를 적용하여 결합도를 낮추고 데이터 일관성을 보장합니다: