자체 호스팅 AI 코딩 에이전트 — 완전 가이드

AI 코딩 에이전트가 진정으로 자체 호스팅되려면 데스크톱 인터페이스뿐 아니라 더 많은 구성 요소가 사용자의 하드웨어에서 실행되어야 합니다. 코드가 환경 밖으로 나가지 않게 하려면 애플리케이션, 모델 추론, 임베딩, 로그, 도구 및 리포지토리가 모두 경계 안에 있어야 합니다. 안전한 배포는 격리된 테스트 리포지토리, 비관리자 샌드박스, 제한된 외부 통신, 적절한 크기의 로컬 모델, 그리고 영향이 큰 모든 쓰기에 대한 사람의 승인으로 시작합니다.

사람들이 “자체 호스팅”이라고 부르는 네 가지 배포 상태

1. 호스팅 모델을 사용하는 로컬 애플리케이션

에이전트 인터페이스와 도구는 컴퓨터에서 실행되지만 선택한 코드와 프롬프트는 API 제공업체로 전송됩니다. 이는 로컬 실행일 뿐, 완전 로컬 추론이 아닙니다.

2. 비공개 엔드포인트를 사용하는 자체 호스팅 애플리케이션

팀이 애플리케이션을 운영하고 VPC, 프라이빗 클라우드 또는 온프레미스 게이트웨이의 모델 엔드포인트에 연결합니다. 데이터 경로는 엄격히 통제할 수 있지만 엔드포인트의 호스팅 및 로깅 설계에 계속 의존합니다.

3. 완전 로컬 추론

애플리케이션, 모델 가중치, 임베딩, 로그 및 도구가 소유한 하드웨어에 남습니다. “코드가 환경을 떠나지 않는다”는 말은 이 상태에서만 정당화되며, 그마저도 텔레메트리, 충돌 보고, 패키지 관리자, 커넥터 및 업데이트 서비스를 확인한 뒤에만 가능합니다.

4. 에어갭 배포

네트워크 경로가 전혀 없습니다. 이미지, 패키지, 모델, 취약점 데이터 및 업데이트는 승인된 오프라인 절차로 반입합니다. 활성 네트워크 연결이 있는 로컬 모델은 에어갭이 아닙니다.

참조 아키텍처

Developer
   ↓
Eigent / coding-agent harness
   ↓
Policy and approval gate
   ↓
Sandboxed repository tools ── Git, tests, linters, scanners
   ↓
Private model endpoint ── local logs and evaluation store

Eigent의 애플리케이션 리포지토리는 Apache-2.0입니다. 소스 빠른 시작은 Eigent cloud에 연결할 수 있지만, 리포지토리는 독립 실행 사용자에게 별도의 Local Deployment 경로를 안내합니다(Eigent 리포지토리). 데이터 격리가 목표라면 독립 실행 경로를 사용하고 검증하세요.

다른 하니스는 다른 워크플로에 더 잘 맞을 수 있습니다. OpenHands는 Docker, VM, 로컬 및 클라우드 백엔드를 갖춘 MIT 라이선스 코어를 제공합니다(OpenHands 리포지토리). Cline은 승인을 지원하는 Apache-2.0 IDE/CLI 에이전트를 제공합니다(Cline 리포지토리). Aider는 Apache-2.0 Git 네이티브 터미널 루프를 제공합니다(Aider 리포지토리).

오픈 소스 AI 코딩 에이전트 비교는 이 하니스를 인터페이스, 유지 관리 상태, 배포 모델 및 승인 설계로 구분합니다.

AI 코딩 에이전트 하니스 선택

인터페이스만으로 고르지 마세요. 도구가 파일 범위를 정하고, 명령을 실행하고, 프롬프트를 저장하고, 텔레메트리를 보내고, 비밀을 관리하고, 도구 호출을 기록하는 방식을 검증해야 합니다.

가짜 최소 사양이 아니라 워크로드로 하드웨어 크기 산정

“8 GB면 충분하다”는 정직한 보편 규칙은 없습니다. 하드웨어는 모델 아티팩트, 양자화, 컨텍스트 길이, 동시 에이전트, 리포지토리 인덱스 및 요구 지연 시간에 따라 달라집니다.

Ollama는 NVIDIA GPU, Apple Metal 및 실험적 Vulkan 경로를 지원합니다. 스케줄러는 사용 가능한 VRAM을 확인하며 프로세스 보기는 모델이 GPU, CPU 또는 분할 상태인지 보여 줍니다(Ollama GPU 문서, Ollama FAQ). 팀 서빙에는 vLLM이 프로덕션 지향 옵션이지만 가속기와 이미지 지원은 바뀌므로 최신 vLLM 설치 문서를 사용하세요.

공개 가중치가 노트북 배포를 보장하지는 않습니다. Kimi K2 공식 모델 카드는 총 1조 개 매개변수를 명시하며, 다운로드 가능한 모델도 상당한 인프라가 필요할 수 있음을 보여 줍니다(Kimi K2 모델 카드).

샌드박스 우선 배포 절차

1. 설치 전에 위협 모델 수립

소스 코드, 비밀, 고객 데이터, 빌드 아티팩트 및 로그를 분류합니다. 누가 작업을 시작할 수 있는지, 에이전트가 어떤 행동을 할 수 있는지, 어떤 실패가 용납될 수 없는지 나열합니다.

NIST SP 800-218A는 생성형 AI를 위한 보안 소프트웨어 개발 지침을 확장하며 AI 시스템 생산자와 취득자를 대상으로 합니다(NIST). 이를 거버넌스 참조로 사용하되 도구나 배포가 “NIST 준수”라는 증거로 사용하지 마세요.

2. 격리된 런타임 생성

컨테이너 또는 VM에서 전용 비관리자 ID로 에이전트를 실행합니다. 홈 디렉터리, SSH 키, 클라우드 자격 증명, 브라우저 프로필, 비밀번호 관리자 및 프로덕션 마운트 접근을 차단합니다.

OpenHands는 샌드박스 없는 로컬 에이전트가 전체 파일 시스템 접근 권한을 가진다고 명시적으로 경고합니다(OpenHands 리포지토리). 이 위험은 셸 권한이 있는 모든 코딩 에이전트에 개념적으로 적용됩니다.

3. 합성 테스트 리포지토리 복제

고객 데이터나 비밀이 없는 코드를 사용합니다. 그 디렉터리만 마운트합니다. 마운트 밖에 카나리 파일을 두고 에이전트가 읽지 못하는지 검증합니다.

4. 독립 실행 애플리케이션 경로 배포

클라우드 연결 빠른 시작이 아니라 공식 리포지토리가 참조하는 최신 Eigent Local Deployment 문서를 따르세요(Eigent 리포지토리). 사용한 정확한 커밋, 이미지, 종속성 및 구성을 기록합니다.

5. 로컬 모델 하나 연결

측정한 하드웨어와 작업에 맞는 모델을 선택합니다. 프로세스 배치, 지연 시간, 컨텍스트 처리 및 출력 품질을 확인합니다. 호스팅 엔드포인트는 명확히 표시한 비로컬 품질 기준선으로 취급합니다.

6. 네트워크 외부 통신 제한

아웃바운드 트래픽을 막은 다음 무엇이 실패하는지 관찰합니다. DNS, 업데이트 확인, 텔레메트리, 충돌 보고, 패키지 관리자, 브라우저 도구, MCP 서버 및 모델 다운로드를 검사합니다. 모든 예외를 문서화합니다.

7. 범위가 제한된 도구 생성

리포지토리에 대한 읽기/쓰기 접근과 빌드, 테스트, lint, 포맷 명령의 허용 목록으로 시작합니다. 배포, ID 변경, 클라우드 관리, 임의 패키지 설치 및 외부 메시징은 거부합니다.

8. 승인 게이트 추가

파일 쓰기, 명령 실행, 종속성, 네트워크 사용 및 리포지토리 밖의 모든 작업에 승인을 요구합니다. 모델이 설득력 있게 요청해도 결정적 정책이 금지 작업을 차단해야 합니다.

9. 평가 세트 실행

모든 모델과 하니스에 같은 작업을 사용합니다. 버그 수정, 여러 파일 리팩터링, 테스트 생성, 종속성 업데이트, 코드 설명 및 범위 밖 파일 변경 거부입니다. 정확성, 테스트 통과율, 검토 시간, 시도된 경계 위반, 지연 시간 및 비용을 평가합니다.

10. 브로커를 통해 비밀 도입

합성 평가를 통과한 뒤에만 에이전트에 좁은 범위의 단기 자격 증명을 제공해야 합니다. 비밀은 프롬프트와 로그 밖에 둡니다. 재사용 가능한 관리자 토큰보다 한 작업을 허용하는 브로커를 선호합니다.

에이전트 코딩에 고유한 보안 위험

2026년 보안 분석은 간접 프롬프트 인젝션, 혼동된 대리인 행동 및 장기 실행 에이전트 시스템의 연쇄 실패를 강조하며, 중대한 결과가 있는 작업에는 샌드박싱과 결정적 제어를 권고합니다(연구 논문). 코딩 에이전트는 이슈, README 파일, 주석, 종속성 메타데이터, 웹페이지 및 도구 출력을 통해 이런 위험에 노출됩니다.

제어에는 다음이 포함되어야 합니다.

• 리포지토리 및 웹 텍스트에 대한 신뢰할 수 없는 콘텐츠 레이블.
• 지침 읽기와 권한 부여의 엄격한 분리.
• 쿼리, 행, 시간 및 출력 제한.
• 허용 목록 패키지 레지스트리와 종속성 검토.
• 프롬프트, 도구 호출, diff 및 승인의 불변 로그.
• 병합, 릴리스 또는 배포 전 사람 검토.
• Git 및 재현 가능한 환경을 통한 롤백.

자체 호스팅은 외부 데이터 경계를 하나 줄입니다. 대신 팀이 패치, 런타임 보안, 키 관리, 모니터링 및 사고 대응을 책임집니다.

배포를 에어갭으로 확장

에어갭 에이전트에는 로컬 추론 체크박스 이상의 것이 필요합니다.

1. 승인된 컨테이너 이미지, 패키지, 모델 아티팩트 및 취약점 데이터를 미러링합니다.
2. 오프라인 반입 전에 해시와 서명을 검증합니다.
3. 인벤토리와 소프트웨어 자재 명세서를 유지합니다.
4. 자동 업데이트, 텔레메트리 및 인터넷 접근을 가정하는 커넥터를 비활성화합니다.
5. 오프라인 패키지 및 모델 레지스트리를 제공합니다.
6. 패치와 보고서를 위한 서명된 내보내기 경로를 정의합니다.
7. 오프라인 보안 업데이트와 긴급 폐기 절차를 일정화합니다.
8. DNS, 프록시, 관리 인터페이스 또는 모델 도구를 통한 경로가 없는지 테스트합니다.

에어갭은 업데이트 및 운영 부담을 늘립니다. 내부자 위험, 악성 종속성, 안전하지 않은 반입 문서 또는 모델 오류를 없애지는 않습니다.

규정 준수와 증거

자체 호스팅 코딩 에이전트가 팀을 GDPR, HIPAA, SOC 2, ISO 27001, 수출 통제 또는 계약상 기밀 유지에 자동으로 준수하게 만들지 않습니다. 규정 준수는 배포, 사람, 정책, 계약 및 증거에 달려 있습니다.

모델 및 데이터 세트 라이선스, SBOM, 접근 정책, 승인 매트릭스, 로그 보존, 백업, 재해 복구, 취약점 대응 및 롤백을 문서화합니다. 프롬프트와 도구 로그에는 소스 조각과 비밀이 들어갈 수 있으므로 잠재적으로 민감한 것으로 취급합니다.

호스팅 코딩 에이전트가 더 나은 경우

팀이 모델 인프라를 운영할 수 없거나, 성숙한 원격 환경이 필요하거나, 공급업체 지원을 중시하거나, 필요한 컨텍스트를 제공업체로 합법적으로 전송할 수 있다면 호스팅 에이전트를 사용하세요. 잘 관리되는 호스팅 서비스는 방치된 자체 호스팅 배포보다 안전할 수 있습니다.

데이터 경계, 소스 검사, 모델 선택, 오프라인 운영 또는 맞춤 정책이 엔지니어링 및 보안 소유권을 정당화할 때 자체 호스팅을 사용합니다.

모델만이 아니라 AI 코딩 에이전트 경계 운영

Eigent는 비공개 코딩 워크플로를 위한 검사 가능한 오케스트레이션 계층을 제공할 수 있지만, 샌드박스, 모델 런타임, 권한, 로그 및 업데이트 프로세스가 진정한 자체 호스팅 여부를 결정합니다. 합성 리포지토리에서 대규모 코드베이스 이해로 시작하고 제어가 유지된 뒤에만 확장하세요. 격리된 평가를 시작하려면 Eigent 다운로드를 사용하세요.