세미애널리시스 AI 에이전트 평가, 1위도 12%인 이유

답변을 잘하는 AI와 맡긴 일을 끝내는 AI 사이의 차이를 실제 실패 사례로 살펴봐요.

AI에게 일을 맡기면 어디까지 끝내 줄까요? 답변은 그럴듯해도 결과물을 그대로 쓸 수 있는지는 다른 문제예요. 11월 2일 공개된 세미애널리시스의 GDPx는 이 간격을 살펴보는 평가예요. 11개 분야의 실무 과제 206개로 시험했는데, 종합 선두인 Claude Opus 5.5의 점수도 12%였어요.

2026년 11월 3일 기준 공개 순위에서 Gemini 4 Carbon은 10.9%, GPT-6 Astra는 9.6%로 뒤를 이었어요. 누가 이겼는지만 볼 일은 아니에요. 왜 점수가 이렇게 낮은지, 이 결과로 AI 에이전트의 실무 능력을 어디까지 판단할 수 있는지도 함께 봐야 해요.

왜 12%를 단순한 업무 성공률로 읽으면 안 될까요

GDPx는 질문에 답하는 능력을 넘어, 작업 환경에서 필요한 정보를 찾고 도구를 써서 결과물을 만드는 능력을 평가해요. 기본 제한 시간은 과제당 8시간이며, 일부 과제는 더 짧아요. Opus의 Claude Code처럼 각 모델에 자체 실행 도구가 있으면 그 환경에서 시험했어요. 모델 이름과 함께 어떤 도구와 환경을 사용했는지도 봐야 해요.

종합 점수는 11개 분야에 같은 비중을 주고, 세 차례 시도에서 얻은 단일 시도 성능을 반영해요. 분야에 따라 합격·불합격 판정과 부분 점수를 사용하므로, 12%를 206개 중 정확히 몇 개를 끝냈다는 뜻으로 바꾸면 안 돼요. 우리 회사 업무의 12%를 자동화할 수 있다는 의미로도 읽을 수 없어요.

분야 선정에도 평가자의 판단이 들어갔어요. 세미애널리시스는 AI가 높은 가치를 만들 것으로 보는 반도체 설계, 사이버보안, 생물학, 금융, 법률 등을 골랐어요. 경제 전체의 직업 구성을 대표하도록 뽑은 표본은 아니에요. 금융·법률에서는 모델들이 원래 의도한 합격 기준을 통과하지 못해 부분 점수도 공개했어요. 일부 분야에서는 안전 필터가 점수를 낮췄다는 평가기관의 설명도 있어요.

종합 1위와 분야별 1위도 달랐어요. 평가기관에 따르면 Opus 5.5는 퀀트 트레이딩과 하드웨어·반도체 설계에서, Gemini 4 Carbon은 생물학과 소프트웨어 공학에서 앞섰어요. GPT-6 Astra는 자기개선 연구와 재료과학에서 강했어요. 모델을 고를 때 종합 순위만 보면 이런 차이를 놓칠 수 있어요.

이번 결과는 선정된 고난도 환경에서 나온 시험 성적으로 이해하는 게 정확해요. HotTea 보도 역시 평가기관과 협력사가 낸 결과를 독립적으로 재현한 검증과 구분해야 한다고 짚었어요. 낮은 점수만으로 모든 AI 활용의 효과까지 단정할 수는 없어요.

실제 과제에서는 무엇을 놓쳤을까요

금융 분야의 Bellwood-QoE 과제를 보면 차이가 구체적으로 드러나요. 동료가 작성하던 엑셀 파일을 이어받아 수익의 질을 분석하고, 운전자본과 순부채를 정리하는 일이에요. 기존 시트와 항목을 유지하면서 틀린 수치를 고치고, 각 판단의 근거도 남겨야 해요. 새 표를 보기 좋게 만드는 것만으로는 요구를 충족할 수 없어요.

협력사 Living Context가 공개한 분석에서는 선별한 25차례 시도 중 이 과제를 해결한 모델이 없었어요. Opus 5.5와 GPT-6 Astra는 11개 점검 항목 중 평균 5.4개를 통과했고, 가장 좋은 한 번의 결과도 8개였어요. 계약서에서 거래비용으로 별도 차감하는 은행의 성공보수를 순부채에 잘못 넣는 등 자료 해석과 항목 분류에서 오류가 나왔어요. 계산 일부가 맞아도 최종 파일을 승인하기는 어려웠어요.

법률 분야에서도 비슷했어요. 투자자를 위해 시리즈 B 투자 관련 정관 초안을 수정하는 공개 과제에서, Chakra가 분석한 20차례 실행 모두 사용 가능한 수정본을 만들지 못했어요. Opus 5.5는 평균 부분 점수 44%를 받았지만, 모든 실행에서 자회사를 통한 투자자 보호조항 우회를 막지 못했어요. 일부 조항을 잘 고쳤다고 해서 전체 문서를 쓸 수 있는 건 아니었어요.

이용 후기를 볼 때도 과제의 범위를 함께 살펴야 해요. 레딧의 한 pi-agent 사용자는 자신의 실제 코딩 기록에서 짧고 명확한 과제 10개를 골라 모델마다 세 번씩 시험했다고 밝혔어요. 여러 모델이 짧은 과제를 안정적으로 처리했다고 평가하면서도, 개인의 작은 표본이라는 점을 적었어요. GDPx의 독립 검증은 아니지만, 맡길 일의 난도와 길이를 구분할 때 참고할 만한 사례예요.

내 업무에서는 이렇게 확인해 보세요

사진: Flickr user ipasadelaide (artist: Jennie Groom) · CC BY 2.0 · Wikimedia Commons

AI 도입을 고민한다면 전체 순위를 본 뒤 내 업무와 닮은 과제를 찾아보세요. 문서 초안 작성, 여러 파일의 숫자 대조, 계약조건 판단은 한 덩어리로 묶기보다 나눠 시험해 보세요. 어떤 단계에서 사람이 수정해야 했는지 기록하면 다음에 맡길 범위를 정할 근거가 생겨요.

결과를 기록할 때도 완성본 승인, 수정 후 승인, 재작업 필요를 구분해 보세요. 모두 같은 성공으로 세면 실제로 업무량이 얼마나 줄었는지 판단하기 어려워요.

시험 전에 완료 기준도 적어 두세요. 엑셀 작업이라면 숫자뿐 아니라 기존 수식과 구조를 보존했는지, 출처와 반영 위치가 맞는지까지 확인하는 식이에요. 문서 작업이라면 요청한 문장을 추가했는지와 함께, 다른 조항과 충돌하거나 이미 합의한 조건을 바꾸지는 않았는지 살펴보세요. 공개 실패 사례에서 드러난 빈틈을 자신의 점검표에 옮겨 보는 거예요.

비교할 때는 같은 자료와 요구사항을 주고, 작업 시간과 사용 비용을 기록하세요. 사람이 검토하고 고친 시간도 더해 보세요. 한 번 잘된 결과만 고르기보다 같은 종류의 일을 반복해서 맡겨 보는 편이 판단에 도움이 돼요. 이번 점수가 이런 효과를 보장한다는 뜻은 아니에요. 실제 도입 여부를 판단하기 위한 제안이에요.

특히 금융·법률 사례처럼 중요한 조건 하나가 결과물 전체를 쓸 수 있는지 좌우하는 업무라면, 부분 점수와 최종 승인을 따로 두세요. 기준은 AI가 스스로 완료했다고 말했는지가 아니라 담당자가 원자료와 대조해 승인할 수 있는지예요. Claude Opus 5.5를 선택하더라도 내 업무에서 무엇을 통과했고 무엇을 놓쳤는지 확인해야 해요.

자주 묻는 질문

Q. 12%면 AI가 업무의 88%를 못 한다는 뜻인가요? A. 그렇게 해석할 수 없어요. 선정된 고난도 과제에서 분야별 가중치와 채점 방식을 적용한 종합 점수예요. 전체 직업이나 회사 업무의 성공률과는 달라요.

Q. Claude Opus 5.5가 모든 업무에서 가장 좋은가요? A. 이번 평가의 종합 선두였지만 분야별 선두는 달랐어요. 자신이 맡길 업무와 가까운 분야의 결과를 함께 살펴봐야 해요.

Q. 짧은 코딩 작업을 잘했다는 후기와 모순되나요? A. 과제의 길이, 난도, 실행 환경과 완료 기준이 다르면 결과도 달라질 수 있어요. 개인 이용 후기를 고난도 평가 전체로 일반화하지 않고 구분해 읽으면 돼요.

출처: 세미애널리시스, GDPx, Living Context, Chakra, HotTea, 레딧 PiCodingAgent