장기 과제: Eigent에서 GLM-5.1 vs GLM-5.2

하나의 과제, 두 모델, 동일한 에이전트

두 모델을 비교하는 가장 깔끔한 방법은 다른 조건을 바꾸지 않는 것입니다. 그래서 우리는 정확히 그렇게 했습니다: 같은 장기 과제, 같은 에이전트, 같은 도구. GLM-5.1과 GLM-5.2에 Eigent의 단일 에이전트 하네스 안에서 동일한 브리프를 전달하고, 각 모델이 어떻게 계획하고, 조사하고, 검증하고, 결과물을 완성하는지 관찰했습니다.

이 작업은 장난감 벤치마크가 아니라 실제 애널리스트 업무였습니다:

이처럼 장기 과제에서는 모델 간 차이가 실제로 드러납니다. 한 번의 영리한 답변이 아니라, 긴 실행 과정에서 이어지는 수십 개의 작은 결정들입니다: 얼마나 깊이 계획할지, 몇 개의 소스를 신뢰할지, 언제 조사를 멈출지, 그리고 완료를 선언하기 전에 얼마나 검증할지.

프롬프트

두 실행에 동일한 프롬프트를 단일 에이전트 모드로 전달했습니다:

1실행 준비 — GLM-5.2는 더 깊게 계획한다

두 모델의 첫 번째 차이는 어느 모델도 웹을 보기 전에, 즉 계획 단계에서 나타났습니다.

GLM-5.1은 작업을 4단계로 나눴습니다. GLM-5.2는 동일한 브리프를 6단계로 확장했고, 주목할 만하게도 "정확성 검증"을 별도의 전담 작업으로 두었습니다. 그것은 신중한 애널리스트가 일을 범위화하는 방식입니다: 조사하고, 그 조사를 입증한 뒤, 구축합니다.

같은 지시. 하지만 과제를 얼마나 엄격하게 다뤄야 하는지에 대한 판단은 달랐습니다.

2조사 — 소스 수가 두 배

계획은 서로 매우 다른 조사 실행으로 이어졌습니다.

• GLM-5.1: 약 40개 소스
• GLM-5.2: 약 82개 소스 — 대략 조사량 2배

그리고 단순히 더 많은 페이지를 본 것이 아니라, 더 균형 있게 분포된 페이지를 봤습니다. GLM-5.1이 단일 데이터 사이트에 크게 의존한 반면, GLM-5.2는 각 수치를 금융 뉴스, 기업 공시, 비상장 시장 데이터베이스로 교차 검증했습니다: Reuters, Bloomberg, Crunchbase, TechCrunch 등.

GLM-5.2는 더 빨리 답한 것이 아니라, 더 깊이 파고들어 두 배의 페이지를 참고하며 모든 수치를 검증했습니다.

3끝내기 전에 검증

GLM-5.2가 검증을 별도 단계로 분리했기 때문에, 실제로 그것을 수행했습니다. 보고서에 반영하기 전에 최신 수치와 대조하며 상장 상태, 티커, 기업가치를 재확인했습니다. 그 결과는 주장하는 보고서가 아니라 작업을 입증하는 보고서였습니다.

4결과 — 더 깊은 데이터, 실제 인용

같은 과제. 전혀 다른 산출물.

GLM-5.2는 다음을 생성했습니다:

• 전용 해자 분석, 자금조달 세부 정보, 그리고 전체 소스 목록을 갖춘 더 풍부한 데이터 스키마 — 모든 주장을 출처까지 추적 가능.
• 데이터와 구조 양쪽에서 GLM-5.1보다 거의 2배 더 풍부한 최종 리포트.
• 단순한 정적 HTML 페이지가 아니라 완전 배포 가능한 인터랙티브 사이트 형태의 출력: 생태계 지형 다이어그램, 섹터 섹션, 상장 vs. 비상장 색상 구분, 시가총액 순위 차트, 정렬/필터 가능한 비교 테이블.

GLM-5.1은 견고하고 정확한 보고서를 제공했습니다. GLM-5.2는 투자위원회에 바로 제출할 수 있는 수준의 보고서를 제공했습니다.

5이것이 중요한 이유

짧은 과제에서는 두 유능한 모델이 거의 비슷해 보입니다. 하지만 장기 과제에서는 차이가 누적됩니다. GLM-5.2가 추가로 읽은 모든 소스, 다시 확인한 모든 수치, 그리고 검증을 일급 단계로 둔 결정이 모두 쌓여서 눈에 띄게 더 나은 결과를 만들었습니다.

하네스는 동일했습니다. 도구도 동일했습니다. 유일한 변수는 모델이었고, სწორედ 그것이 GLM-5.2가 긴 실행에서 어떻게 추론하는지를 공정하게 보여줍니다:

6직접 실행해 보기

Eigent에서는 같은 단일 에이전트 하네스 뒤의 모델을 교체할 수 있으므로, 자신의 작업에서도 이 정확한 비교를 실행할 수 있습니다:

1. 설정 → 모델로 이동해 테스트할 모델(GLM-5.1, GLM-5.2, 또는 함수 호출 모델)을 선택하거나 추가하세요.
2. 작업을 단일 에이전트 모드로 전환하세요.
3. 위의 심층 조사 프롬프트(또는 자신만의 장기 과제 브리프)를 붙여넣으세요.
4. 각 모델마다 한 번씩 전송한 뒤, 계획, 소스 수, 최종 리포트를 나란히 비교하세요.

7다음에 시도해 볼 것

8더 나은 결과를 위한 팁

• 검증을 명시적으로 요구하세요. 모델에게 "먼저 정확성을 검증한 뒤 구축하라"고 요청하면 행동이 눈에 띄게 바뀝니다. GLM-5.2는 그 문장을 자체 계획 단계로 바꿨습니다.
• 스키마에 인용을 요구하세요. 각 기업에 sources 필드를 요구하면 자신감 있는 추측이 아니라 추적 가능한 조사를 강제합니다.
• 데이터와 프레젠테이션을 분리하세요. HTML보다 먼저 ai_infra_data.json을 생성하면 리포트를 재생성할 수 있고 사실도 감사 가능해집니다.
• 장기 추론에는 단일 에이전트 모드를 사용하세요. 전체 작업 맥락이 하나의 모델 손에 남아 있어야, 장기간에 걸쳐 모델이 어떻게 계획하고 자기 수정하는지 비교할 때 가장 적합합니다.