얀 르쿤 작은 모델 연구, 720억 LLM을 앞선 진짜 의미

약 660배 작은 모델이 앞선 시험은 무엇이었을까요? 숫자 뒤의 조건을 알면 이 연구가 다르게 보여요.

“1억 900만 파라미터 모델이 720억 파라미터 LLM을 앞섰다.” 숫자만 보면 작은 AI가 대형 AI를 통째로 이긴 것 같아요. 그런데 얀 르쿤의 작은 모델 연구에서 먼저 봐야 할 것은 승부를 가른 시험이에요. 이번 결과는 글쓰기나 대화 실력 전반이 아니라, 텍스트 모델의 내부 표현이 이미지 모델과 얼마나 잘 맞는지를 비교한 성적이에요. 무엇을 잘했고 어디까지 LLM 대안으로 볼 수 있는지 원문을 기준으로 짚어볼게요.

2026년 10월 29일 공개된 얀 르쿤 논문은 랜들 발레스테리에로와 함께 쓴 ‘Proving and Improving the Platonic Representation Hypothesis with JEPAs’예요. 제목은 어렵지만 질문은 친숙해요. 같은 세상을 사진으로 배운 AI와 글로 배운 AI가 서로 비슷한 개념 구조를 만들 수 있느냐는 거예요. 11월 2일 이를 보도한 36Kr도 작은 모델의 승리를 소개하면서, 이 결과가 AI 업계 전체의 방향이 잘못됐다는 뜻은 아니라고 설명했어요.

크기보다 무엇을 짝지어 배우느냐가 중요해요

연구의 중심에는 JEPA라는 학습 방식이 있어요. 이번 텍스트 JEPA는 같은 장면을 설명하는 서로 다른 글을 학습 쌍으로 사용해요. 연구진은 이런 쌍을 ‘좋은 관측’, 즉 good views라고 불러요. 반대로 하나의 설명문 일부를 가리거나 같은 문서의 앞뒤를 연결하는 방식은 장면 자체보다 특정 표현에 묶일 수 있다고 분석해요.

여기서 말하는 ‘표현’은 AI가 입력의 특징을 숫자로 정리한 결과예요. 서로 비슷한 사진들이 가깝게 놓이고, 그 사진들을 설명하는 문장들도 비슷한 관계를 보인다면 두 모델의 표현 구조가 잘 맞는다고 볼 수 있어요. 연구는 이렇게 이미지와 텍스트 사이의 관계가 얼마나 닮았는지 살폈어요. 이 점수를 정답률이나 지능 점수로 읽으면 뜻이 달라져요.

대표 비교에서 1억 900만 파라미터 텍스트 JEPA는 DINOv2 이미지 모델과의 정렬 점수 0.184를 기록했어요. 비교 대상인 Qwen2.5-72B는 0.154였어요. 파라미터 수는 약 660배 차이지만, 이 평가에서는 작은 모델이 앞선 거예요. 연구진은 CLIP 이미지 모델을 기준으로 한 비교에서도 앞섰다고 보고했어요. 다만 이 수치로 문서 요약이나 코딩까지 더 잘한다고 말할 수는 없어요.

반복 실험에서 나타난 차이도 공개했어요. 대표 점수와 별개로 정규화 항의 실효 가중치를 두 배로 둔 네 번째 실행에서는 0.121이 나왔어요. 네 실행의 평균은 0.168로 비교 대상인 언어 모델보다 높았지만, 설정에 따라 결과가 달라졌어요. 대표 숫자 하나가 모든 조건에서의 성능을 뜻하지는 않는 거예요.

효율을 보여 주는 숫자도 있어요. 같은 계열의 텍스트 자료를 이용한 비교에서 좋은 관측을 쓰는 모델은 약 2,160만 학습 표본으로 다음 토큰 예측 모델이 9억 표본에서 얻은 것과 비슷한 정렬 수준에 도달했어요. 약 42배 차이예요. 다만 한 표본에서 읽는 글의 양이 달라 토큰 기준 차이는 약 14배였고, 학습 설정도 같지 않았어요. 이를 학습비나 전력 사용량이 42분의 1이라는 뜻으로 받아들이면 안 돼요.

사진에 설명을 붙이는 실험으로 이어졌어요

연구진은 이미지 설명문을 만드는 실험도 했어요. 따로 학습한 이미지 인코더와 텍스트 쪽 표현 공간을 하나의 변환으로 연결하고, 텍스트로 학습한 언어 모델이 설명을 만들도록 구성했어요. 이미지와 설명문 쌍은 이 연결 변환을 맞추는 데 사용했어요. 따라서 사진과 설명의 연결 정보를 전혀 쓰지 않았다고 소개해도 정확하지 않아요.

이 구성은 COCO 평가에서 CIDEr 0.838을 기록했어요. CIDEr는 생성된 설명을 사람이 작성한 설명과 비교하는 평가 지표예요. 이 숫자를 ‘사진의 83.8%를 이해했다’는 뜻으로 읽을 수는 없어요. 연구진은 사진과 영상에 설명을 붙이는 공개 데모와 실험 코드를 함께 제공했어요. 실제로 어떻게 활용할지 보여 주는 사례지만, 연구진의 시연과 일반 사용자의 장기 이용 후기는 구분해야 해요. 이번 조사에서는 독립적인 장기 사용 후기를 확인하지 못했어요.

학습 자료도 살펴봐야 해요. 큰 규모의 실험에는 웹 이미지 약 9억 4,000만 장에 연결된 텍스트를 사용했어요. 작은 모델이라고 해서 적은 자료로 학습했다는 뜻은 아니에요. 이미지마다 있는 세 텍스트 가운데 둘은 LLaVA가 만든 설명이었어요. 텍스트 모델이 직접 사진을 보지 않았더라도, 이미지에서 얻은 정보가 설명문을 거쳐 들어온 셈이에요. 저자들도 이 점을 한계로 밝혔어요.

LLM 대안을 볼 때는 시험과 조건을 함께 보세요

이 소식을 접하면 ‘작은 AI로 지금 쓰는 챗봇을 바꿔도 될까’라는 질문이 이어질 만해요. 다만 도구를 바꾸는 근거로 삼기에는 이번 연구가 확인한 능력과 챗봇에 필요한 능력의 범위가 달라요. 글을 쓰거나 코드를 고치는 일이 목적이라면 해당 과제의 결과를 따로 확인해야 해요. 이미지와 문장의 개념을 연결하는 연구에 관심이 있다면 이번 방식이 어떤 학습 쌍을 쓰는지 살펴볼 만해요.

연구를 읽을 때는 모델 크기, 학습 자료, 평가 지표를 함께 확인해 보세요. 특히 ‘42배 효율’처럼 눈에 띄는 표현이 나오면 표본 수인지, 처리한 토큰 수인지, 실제 비용인지 구별해야 해요. 이번 논문이 밝힌 제한 조건까지 읽으면 제목에서 받은 인상을 바탕으로 좀 더 구체적으로 판단할 수 있어요.

공개 저장소에는 학습과 평가를 재현하는 절차도 있어요. 직접 실험할 수 있는 독자라면 같은 평가 조건에서 결과가 재현되는지 확인해 볼 수 있어요. 일반 독자라면 후속 연구에 독립적인 재현 결과와 실제 과제 성적이 추가되는지 지켜보면 돼요. 2026년 11월 3일 기준으로 이번 성과가 보여 주는 것은, 적절한 학습 쌍을 설계하면 특정 표현 정렬 과제에서 훨씬 작은 모델도 좋은 결과를 낼 수 있다는 점이에요.

자주 묻는 질문

Q. 1억 900만 파라미터 모델이 대형 LLM보다 똑똑한가요? A. 이번 결과만으로는 그렇게 말할 수 없어요. 이미지 모델과 텍스트 모델의 표현 정렬에서 앞섰으며, 대화·글쓰기·코딩 전반의 우위를 확인한 결과는 아니에요.

Q. JEPA는 당장 사용할 수 있는 LLM 대안인가요? A. 연구진은 코드와 이미지·영상 설명 데모를 공개했어요. 다만 이번 텍스트 JEPA로 범용 챗봇을 바로 대체할 수 있다는 근거는 제시하지 않았어요.

Q. 학습 표본이 42배 적으면 비용도 42배 줄어드나요? A. 그렇게 계산할 수는 없어요. 표본마다 처리하는 텍스트 양과 학습 설정이 달라요. 논문에서 토큰 기준 차이는 약 14배이며, 이 역시 실제 비용 절감률을 뜻하지는 않아요.

출처: arXiv·발레스테리에로·르쿤 연구진, 연구진 공식 GitHub, 36Kr