하나의 과제, 두 모델, 동일한 에이전트
두 모델을 비교하는 가장 깔끔한 방법은 다른 조건을 바꾸지 않는 것입니다. 그래서 우리는 정확히 그렇게 했습니다: 같은 장기 과제, 같은 에이전트, 같은 도구. GLM-5.1과 GLM-5.2에 Eigent의 단일 에이전트 하네스 안에서 동일한 브리프를 전달하고, 각 모델이 어떻게 계획하고, 조사하고, 검증하고, 결과물을 완성하는지 관찰했습니다.
이 작업은 장난감 벤치마크가 아니라 실제 애널리스트 업무였습니다:
AI 인프라 스택 전반의 26개 기업을 조사하고 — 실리콘 설계와 반도체 제조부터 프런티어 AI를 구동하는 클라우드 플랫폼과 데이터센터까지 — 인터랙티브 리포트를 구축한다.
이처럼 장기 과제에서는 모델 간 차이가 실제로 드러납니다. 한 번의 영리한 답변이 아니라, 긴 실행 과정에서 이어지는 수십 개의 작은 결정들입니다: 얼마나 깊이 계획할지, 몇 개의 소스를 신뢰할지, 언제 조사를 멈출지, 그리고 완료를 선언하기 전에 얼마나 검증할지.
프롬프트
두 실행에 동일한 프롬프트를 단일 에이전트 모드로 전달했습니다:
AI 인프라 생태계의 26개 기업을 심층 조사하세요. 이는 전체 AI 가치사슬에서 가장 확실한 핵심 축입니다. 다음 6개 하위 섹터를 다루세요(각 섹터에서는 대형 리더부터 소규모 플레이어까지 대표 기업을 선정):
- AI 데이터센터 (컴퓨트 인프라 / 구축)
- GPU / AI 칩 (학습 및 추론용 실리콘, ASIC, IP)
- 서버, 네트워킹 및 광 모듈 (스위치, NIC, 광 인터커넥트)
- 전력, 액체 냉각 및 에너지 저장 (전원 공급, 열 관리, 에너지 관리)
- AI 클라우드 / 컴퓨트 플랫폼 (하이퍼스케일러, GPU 클라우드, 컴퓨트 대여 플랫폼)
- 지원 생태계 (HBM / 첨단 패키징, 파운드리, 커넥터 및 기타 핵심 부품)
각 기업에 대해 다음을 조사하세요: 회사명, 하위 섹터, 본사 / 국가; 핵심 제품과 AI 체인에서의 구체적 역할; 상장 또는 비상장 여부(상장 시 티커 + 거래소, 비상장 시 최근 기업가치 / 자금조달 라운드); 시가총액 또는 기업가치 규모(순위 산정용); 포지셔닝과 해자(1–2문장); 주요 고객 / 경쟁사.
각 하위 섹터 내에서 기업을 큰 순서부터 작은 순서로 순위화하고, 전체 구조는 하향식으로 구성하세요: 전체 하드웨어 생태계 지형에서 각 개별 기업까지.
출력: 먼저 26개 기업 전체, 6개 하위 섹터 분류, 상장/비상장 플래그, 섹터 간 비교 매트릭스를 포함한 구조화된 ai_infra_data.json을 생성하세요. 그런 다음 해당 JSON을 바탕으로 세련되고 인터랙티브한 HTML 리포트를 생성하세요 — 생태계 지형 다이어그램, 섹터 섹션, 기업 카드, 상장 vs. 비상장 색상 구분, 시가총액 순위 차트, 정렬/필터 가능한 비교 테이블을 포함합니다. 먼저 연구 데이터의 정확성을 검증하세요(상장 상태, 티커, 기업가치 — 최신 수치, 인용 출처), 그 다음 리포트를 생성하세요.
실행 준비 — GLM-5.2는 더 깊게 계획한다
두 모델의 첫 번째 차이는 어느 모델도 웹을 보기 전에, 즉 계획 단계에서 나타났습니다.
GLM-5.1은 작업을 4단계로 나눴습니다. GLM-5.2는 동일한 브리프를 6단계로 확장했고, 주목할 만하게도 "정확성 검증"을 별도의 전담 작업으로 두었습니다. 그것은 신중한 애널리스트가 일을 범위화하는 방식입니다: 조사하고, 그 조사를 입증한 뒤, 구축합니다.
같은 지시. 하지만 과제를 얼마나 엄격하게 다뤄야 하는지에 대한 판단은 달랐습니다.
조사 — 소스 수가 두 배
계획은 서로 매우 다른 조사 실행으로 이어졌습니다.
- GLM-5.1: 약 40개 소스
- GLM-5.2: 약 82개 소스 — 대략 조사량 2배
그리고 단순히 더 많은 페이지를 본 것이 아니라, 더 균형 있게 분포된 페이지를 봤습니다. GLM-5.1이 단일 데이터 사이트에 크게 의존한 반면, GLM-5.2는 각 수치를 금융 뉴스, 기업 공시, 비상장 시장 데이터베이스로 교차 검증했습니다: Reuters, Bloomberg, Crunchbase, TechCrunch 등.
소스 하나로는 충분하지 않습니다. 기업가치, 티커, 상장 상태에 대해서는 GLM-5.2가 단일 숫자를 사실이 아니라 검증해야 할 가설로 취급했습니다.
GLM-5.2는 더 빨리 답한 것이 아니라, 더 깊이 파고들어 두 배의 페이지를 참고하며 모든 수치를 검증했습니다.
끝내기 전에 검증
GLM-5.2가 검증을 별도 단계로 분리했기 때문에, 실제로 그것을 수행했습니다. 보고서에 반영하기 전에 최신 수치와 대조하며 상장 상태, 티커, 기업가치를 재확인했습니다. 그 결과는 주장하는 보고서가 아니라 작업을 입증하는 보고서였습니다.
결과 — 더 깊은 데이터, 실제 인용
같은 과제. 전혀 다른 산출물.
GLM-5.2는 다음을 생성했습니다:
- 전용 해자 분석, 자금조달 세부 정보, 그리고 전체 소스 목록을 갖춘 더 풍부한 데이터 스키마 — 모든 주장을 출처까지 추적 가능.
- 데이터와 구조 양쪽에서 GLM-5.1보다 거의 2배 더 풍부한 최종 리포트.
- 단순한 정적 HTML 페이지가 아니라 완전 배포 가능한 인터랙티브 사이트 형태의 출력: 생태계 지형 다이어그램, 섹터 섹션, 상장 vs. 비상장 색상 구분, 시가총액 순위 차트, 정렬/필터 가능한 비교 테이블.
GLM-5.1은 견고하고 정확한 보고서를 제공했습니다. GLM-5.2는 투자위원회에 바로 제출할 수 있는 수준의 보고서를 제공했습니다.
이것이 중요한 이유
짧은 과제에서는 두 유능한 모델이 거의 비슷해 보입니다. 하지만 장기 과제에서는 차이가 누적됩니다. GLM-5.2가 추가로 읽은 모든 소스, 다시 확인한 모든 수치, 그리고 검증을 일급 단계로 둔 결정이 모두 쌓여서 눈에 띄게 더 나은 결과를 만들었습니다.
하네스는 동일했습니다. 도구도 동일했습니다. 유일한 변수는 모델이었고, სწორედ 그것이 GLM-5.2가 긴 실행에서 어떻게 추론하는지를 공정하게 보여줍니다:
더 많은 소스. 더 날카로운 판단. 작업을 입증하는 보고서.
직접 실행해 보기
Eigent에서는 같은 단일 에이전트 하네스 뒤의 모델을 교체할 수 있으므로, 자신의 작업에서도 이 정확한 비교를 실행할 수 있습니다:
- 설정 → 모델로 이동해 테스트할 모델(GLM-5.1, GLM-5.2, 또는 함수 호출 모델)을 선택하거나 추가하세요.
- 작업을 단일 에이전트 모드로 전환하세요.
- 위의 심층 조사 프롬프트(또는 자신만의 장기 과제 브리프)를 붙여넣으세요.
- 각 모델마다 한 번씩 전송한 뒤, 계획, 소스 수, 최종 리포트를 나란히 비교하세요.
다음에 시도해 볼 것
동일한 브리프를 다시 실행하되, 기업가치당 최소 3개의 독립적인 소스를 요구하고, 소스 간 불일치가 있는 기업을 표시하세요.
범위를 26개에서 50개 기업으로 확장하고 비교 매트릭스에 "공급망 의존성" 열을 추가하세요.
최종 리포트의 1페이지 분량 경영진 요약본을 PDF로 생성하고, 시가총액 순위 차트의 슬라이드 덱도 함께 만드세요.
동일한 과제에서 GLM-5.2를 다른 모델과 비교 실행하고 diff 리포트를 생성하세요: 어디서 합의했는지, 어디서 달랐는지, 그리고 어느 쪽이 더 나은 소싱을 했는지.
더 나은 결과를 위한 팁
- 검증을 명시적으로 요구하세요. 모델에게 "먼저 정확성을 검증한 뒤 구축하라"고 요청하면 행동이 눈에 띄게 바뀝니다. GLM-5.2는 그 문장을 자체 계획 단계로 바꿨습니다.
- 스키마에 인용을 요구하세요. 각 기업에
sources필드를 요구하면 자신감 있는 추측이 아니라 추적 가능한 조사를 강제합니다. - 데이터와 프레젠테이션을 분리하세요. HTML보다 먼저
ai_infra_data.json을 생성하면 리포트를 재생성할 수 있고 사실도 감사 가능해집니다. - 장기 추론에는 단일 에이전트 모드를 사용하세요. 전체 작업 맥락이 하나의 모델 손에 남아 있어야, 장기간에 걸쳐 모델이 어떻게 계획하고 자기 수정하는지 비교할 때 가장 적합합니다.
