GPT-6 Astra 성능 분석: GPT-5.6 Sol보다 무엇이 달라졌나

가장 먼저 봐야 할 숫자

OpenAI가 공개한 GPT-6 Astra와 GPT-5.6 Sol의 주요 수치를 몇 개만 추리면 이렇다.

Terminal-Bench는 터미널 환경에서 실제 작업을 수행하는 능력, AutomationBench는 여러 단계로 이어지는 전문 업무 자동화 능력을 보는 평가다. 이 두 항목은 차이가 상당히 크다.

반면 OpenAI가 같이 공개한 Artificial Analysis Intelligence Index 수치는 Astra 61.2, Sol 60.9다. 여기만 보면 세대가 바뀌었다고 느낄 정도의 차이는 아니다.

이 대비가 이번 Astra를 이해하는 핵심이라고 생각한다.

Astra의 가장 큰 변화는 단순 문제풀이 점수보다 ‘실제 일을 끝내는 능력’ 쪽에 더 많이 몰려 있다.

코딩은 분명히 좋아졌다

코딩 쪽에서는 상승 폭이 꽤 일관되게 보인다.

OpenAI 자료에서 Terminal-Bench 4.0은 Sol 37.3%에서 Astra 57.9%로 올랐다. 내부 Database Migration Tasks도 42.7%에서 63.9%로 상승했다. Artificial Analysis Coding Agent Index도 65.1에서 67.0으로 올랐다.

다만 모든 코딩 지표가 20%포인트씩 뛰는 것은 아니다. DeepSWE는 72.7%에서 74.1%, FrontierCode Extended는 60.6%에서 64.5%로 상대적으로 완만하게 올랐다.

그래서 “코딩 성능이 전부 압도적으로 상승했다”기보다는 코드를 아는 능력 자체보다 도구를 쓰고, 확인하고, 반복하면서 복잡한 개발 작업을 완수하는 능력이 더 크게 좋아졌다고 보는 편이 맞아 보인다.

Artificial Analysis의 독립 평가도 비슷한 그림을 보여 준다. Coding Agent Index에서 Astra는 67점을 기록했고, max 설정 기준으로 Sol보다 약 3배 적은 토큰을 사용하면서 점수는 약 2점 높았다. 토큰 단가 자체는 훨씬 비싸지만 코딩 에이전트 작업에서는 효율 향상이 가격 상승을 상당 부분 상쇄했다는 평가다.

개인적으로 이번 모델에서 가장 눈에 들어오는 부분도 여기다. 단순히 코드를 한 번 잘 생성하는 것보다 큰 저장소를 읽고, 도구를 여러 번 호출하고, 실패한 시도를 기억하면서 끝까지 작업하는 능력이 실제 개발에서는 더 중요하기 때문이다.

컴퓨터 조작과 긴 작업도 크게 좋아졌다

Astra는 컴퓨터 사용에서도 눈에 띄는 개선을 보인다.

OSWorld 2.0에서 Astra는 72.6%, Sol은 65.7%였다. OpenAI가 공개한 latency simulation에서는 Astra가 약 40분, Sol이 약 75분으로, Astra가 더 높은 점수를 내면서 작업 시간도 약 47% 줄었다.

여기에 장문맥 성능도 좋아졌다.

OpenAI MRCR v2의 512K~1M 구간에서 Sol은 73.8%, Astra는 96.3%였다. 두 모델 모두 약 100만 토큰급 컨텍스트를 다룰 수 있지만, 컨텍스트 크기가 같다고 긴 대화에서 정보를 똑같이 잘 찾아 쓰는 것은 아니라는 점을 보여 준다.

Codex에서는 Astra와 함께 긴 세션의 이전 문맥을 단순 요약으로 계속 압축하는 대신, 과거 컨텍스트를 검색해서 필요한 요구사항이나 테스트 결과를 다시 찾는 기능도 도입되고 있다. 이 기능은 모델 자체와 harness 개선이 섞여 있기 때문에 순수 모델 성능으로만 보기는 어렵지만, 실제 사용 경험에는 꽤 큰 영향을 줄 수 있다.

그런데 독립 종합 평가는 Sol과 거의 같다

여기서 분위기가 한 번 바뀐다.

Artificial Analysis가 9월 3일 공개한 독립 분석에서 Astra max의 Intelligence Index는 61점으로 Sol max의 61점과 같다.

Astra는 같은 평가에서 출력 토큰을 약 10% 덜 썼지만 API 가격이 2.5배로 올라, max 기준 일반 Intelligence Index 작업 비용은 Sol보다 약 75% 높았다고 분석됐다.

더 흥미로운 점은 세부 결과가 한 방향으로만 움직이지 않았다는 것이다.

Artificial Analysis는 장기 지식 작업을 보는 AA-Briefcase에서는 Astra가 약 80 Elo 좋아졌다고 평가했다. 반면 GDPval-AA v2에서는 약 80 Elo 낮아졌고, 일부 고객지원·과학 코딩·장문맥 평가에서도 2~3점 정도 후퇴했다. 프레젠테이션 품질 Elo에서는 오히려 Sol max가 앞섰다고 설명한다.

즉 독립 평가만 놓고 보면 Astra는 Sol의 모든 능력을 균일하게 한 단계 올린 모델이라기보다, 특정 종류의 작업에서 훨씬 강해진 대신 다른 영역에서는 비슷하거나 일부 후퇴도 있는 모델에 가깝다.

이 결과는 공식 발표의 큰 상승폭과 모순이라기보다, 두 평가가 보는 능력이 다르다고 이해하는 편이 자연스럽다.

99.9% ARC-AGI-3는 그대로 비교하면 안 된다

이번 발표에서 가장 강하게 보이는 숫자는 ARC-AGI-3의 99.9% 다.

OpenAI 표만 보면 Sol 7.8%에서 Astra 99.9%로 거의 완전히 다른 세상이 된 것처럼 보인다. 하지만 이 숫자는 조건을 꼭 같이 봐야 한다.

ARC Prize가 별도로 공개한 결과를 보면 Astra는 모든 모델을 동일한 방식으로 연결하는 Standard harness에서 max 기준 62.7% 를 기록했다. 반면 OpenAI의 모델 특화 기능을 활용하는 Provider Adapter harness에서는 high 기준 99.9% 가 나왔다.

Provider Adapter는 요청 사이에서 비공개 reasoning state를 유지하고, 긴 대화에서는 OpenAI의 compaction 기능을 활용한다. ARC Prize는 이 방식이 실제 공급자가 설계한 컨텍스트 관리 능력을 포함해서 측정하는 질문에는 의미가 있지만, 여러 모델을 같은 인터페이스에서 직접 비교하는 Standard harness와는 다른 질문이라고 설명한다.

그래서 99.9%가 가짜 점수라는 뜻은 아니다. 오히려 Astra와 OpenAI의 전체 에이전트 시스템을 함께 쓸 때 성능이 얼마나 커질 수 있는지 보여 주는 결과에 가깝다.

하지만 이 숫자를 그대로 “Astra 자체가 Sol보다 ARC-AGI-3에서 12배 이상 똑똑해졌다”는 식으로 읽으면 안 된다. ARC Prize도 이 결과가 AGI의 증명은 아니며, 제한된 규칙과 명확한 피드백을 가진 특정 환경이라는 점을 강조한다.

환각과 신뢰성은 좋아진 신호가 있다

OpenAI 내부 hallucination benchmark에서는 낮을수록 좋은 오류율이 Sol 12.2%에서 Astra 4.2%로 줄었다.

독립 평가에서도 비슷한 방향의 신호가 있다. Artificial Analysis의 AA-Omniscience에서 max 설정의 hallucination rate가 Sol 92%에서 Astra 51%로 내려갔고, 정확도는 동시에 4점 올라갔다.

물론 두 벤치마크의 정의와 척도는 다르기 때문에 숫자를 서로 직접 비교하면 안 된다. 다만 서로 다른 평가에서 모르는 것을 아는 척하거나 잘못된 내용을 만들어 내는 경향이 줄었다는 방향성이 같이 나온 것은 긍정적이다.

가격은 확실히 비싸졌다

성능만 보고 Astra를 평가하면 놓치기 쉬운 부분이 가격이다.

OpenAI API Standard 가격은 100만 토큰 기준으로 다음과 같다.

단순 토큰 단가로는 2.5배다.

그래도 실제 작업 비용은 조금 복잡하다. 앞서 본 것처럼 Artificial Analysis의 코딩 에이전트 테스트에서는 Astra가 Sol보다 약 3배 적은 토큰을 사용해서 max 기준 작업당 비용이 거의 비슷해졌다. 반대로 일반 Intelligence Index에서는 토큰 절감 폭이 약 10%에 그쳐 작업당 비용이 Sol보다 75% 높았다.

결국 “Astra가 비싼가?”라는 질문에는 무슨 작업을 시키느냐에 따라 다르다고 답해야 한다.

긴 코딩 에이전트 작업처럼 한 번에 문제를 더 빨리 해결해서 반복 횟수를 줄일 수 있다면 높은 단가가 상쇄될 수 있다. 일반적인 질문, 글쓰기, 가벼운 분석처럼 Sol도 이미 충분히 잘하는 작업에서는 Astra의 비용 상승이 그대로 부담으로 남을 가능성이 높다.

커뮤니티 반응은 꽤 극단적으로 갈린다

출시 직후 Reddit 반응을 여러 개 살펴보면 재미있게도 공식 벤치마크처럼 한 방향으로 정리되지 않는다.

긍정적인 쪽에서는 다음과 같은 반응이 반복된다.

• Sol에서 못 찾던 코딩 문제를 Astra가 해결했다.
• 큰 코드베이스나 여러 단계 작업에서 중간에 덜 헤맨다.
• 낮거나 중간 reasoning에서도 작업이 빠르다.
• 애매한 요청에서 일일이 확인하지 않고 상식적인 가정을 잘 한다.
• 3D·브라우저·도구 사용처럼 실제 환경과 상호작용하는 작업에서 차이가 크다.

특히 r/singularity의 초기 사용 후기에서는 “손을 덜 잡아줘도 된다”, “전문가와 이야기하는 느낌”이라는 반응이 많은 공감을 얻었다. r/codex에서도 Sol이 못 찾던 버그나 작업을 Astra가 찾아냈다는 후기가 올라오고 있다.

반대로 부정적인 반응도 명확하다.

한 r/OpenAI 사용자는 Astra를 “high intelligence, low intuition” 이라고 표현했다. 코딩 문제 자체는 영리하게 풀지만 기존 아키텍처와 사용자의 의도를 읽고 적절한 범위에서 해결책을 고르는 면에서는 Sol이 더 편했다는 평가다. 필요 이상으로 복잡한 해결책을 제안하거나, 방향을 충분히 합의하기 전에 구현을 시작했다는 사례도 있다.

또 하나 아주 자주 나오는 이야기가 사용량이다. Pro나 Plus 사용자가 Astra High를 몇 시간 사용한 뒤 Sol보다 훨씬 빠르게 usage allowance가 줄었다는 글들이 여러 개 올라왔다. 이 수치는 계정·reasoning 설정·작업 종류에 따라 크게 달라질 수 있고 ChatGPT의 usage allowance를 API 토큰 비용과 동일하게 볼 수도 없기 때문에, 커뮤니티 사례를 그대로 일반화해서는 안 된다.

그래도 출시 첫 이틀 동안 “성능은 좋지만 사용량이 무섭다”는 반응이 반복해서 나오는 것은 실제 선택에서 지켜볼 만한 신호다.

보안 작업에서는 오히려 답답하게 느껴질 수도 있다

Astra는 사이버보안 성능이 크게 올라간 모델이기도 하다.

OpenAI는 Astra가 자사의 Preparedness Framework에서 cybersecurity Critical threshold에 도달했다고 밝혔다. 안전장치를 제거한 평가에서 ExploitBench는 100%, ExploitGym은 42.4%였고, Sol은 각각 78.5%, 30.3%였다. 최근 취약점만 사용한 별도 평가 과정에서는 알려지지 않았던 zero-day 두 개도 발견했다고 한다.

이 때문에 출시 버전에는 더 강한 안전장치가 붙었다. OpenAI도 정상적인 방어 작업이 추가 검사 때문에 느려지거나 멈출 수 있다고 직접 설명한다.

실제 커뮤니티에서도 보안 관련 개발 작업에서 갑자기 위험 작업으로 분류돼 진행이 막혔다는 초기 후기가 보인다. 이것이 모든 사용자에게 같은 방식으로 나타난다고 말할 수는 없지만, Astra의 더 강한 사이버 능력과 더 강한 안전장치가 동시에 들어왔다는 점은 알고 쓰는 편이 좋다.

그래서 Sol에서 바로 갈아탈 만한가

내가 지금 시점에서 작업별로 나눈다면 이렇다.

Astra를 먼저 써볼 만한 작업

• 큰 코드베이스를 읽고 실제 수정까지 맡기는 작업
• 브라우저나 컴퓨터를 여러 단계로 조작해야 하는 작업
• 장시간 이어지는 에이전트 작업
• 50만~100만 토큰급 긴 컨텍스트에서 정보를 계속 찾아야 하는 작업
• 복잡한 디버깅, 마이그레이션, 테스트·검증 반복
• 어려운 과학·수학·전문 업무에서 도구 사용까지 필요한 작업

이 영역은 공식 지표와 독립 평가가 모두 어느 정도 같은 방향을 가리킨다.

Sol을 계속 써도 충분해 보이는 작업

• 일반적인 질문과 대화
• 짧은 글쓰기와 요약
• 비용과 사용량이 중요한 반복 작업
• 이미 Sol로 한두 번 안에 잘 해결되는 개발 작업
• 모델과 자주 방향을 상의하면서 사람이 세밀하게 통제하는 작업

특히 Artificial Analysis의 종합 Intelligence Index가 61 대 61이라는 점은 무시하기 어렵다. Astra가 나왔다고 해서 Sol이 갑자기 구형 모델처럼 쓸모없어진 것은 아니다.

지금이라면 나는 Astra를 모든 작업의 기본값으로 쓰기보다는, Sol이 오래 헤매거나 도구 호출이 많아지는 어려운 작업에 먼저 투입해 볼 것 같다.

내가 보는 Astra의 진짜 변화

이번 자료를 전부 보고 나서 가장 인상적인 것은 최고 벤치마크 숫자 하나가 아니다.

Astra는 “질문에 더 좋은 답을 하는 챗봇”의 개선보다 AI에게 복잡한 일을 맡겼을 때 중간 과정에서 덜 무너지고 끝까지 결과물을 가져오는 방향으로 발전한 모델처럼 보인다.

Terminal-Bench와 AutomationBench의 큰 상승, 컴퓨터 사용 시간 단축, 긴 컨텍스트 검색 개선, Coding Agent의 토큰 효율은 이 방향을 꽤 일관되게 보여 준다.

반대로 독립 종합 지능 평가가 Sol과 동률이고, 일부 세부 평가에서는 후퇴가 있으며, API 단가가 2.5배라는 점도 같이 봐야 한다. 커뮤니티에서도 “훨씬 똑똑하다”는 평가와 “의도 파악은 오히려 Sol이 낫다”는 평가가 동시에 나오는 이유가 여기에 있다고 본다.

그래서 현재 내 결론은 간단하다.

GPT-6 Astra는 Sol을 모든 면에서 지워버린 후속 모델이라기보다, 복잡한 장기 작업을 실제로 완수하는 능력에 훨씬 더 많은 성능을 배분한 모델이다.

코딩과 에이전트 작업을 많이 한다면 이번 변화는 꽤 크게 느껴질 가능성이 있다. 반대로 일반적인 ChatGPT 사용이 중심이라면, 출시 직후의 화려한 숫자만 보고 무조건 Astra를 고집할 필요는 없어 보인다.

그리고 지금은 출시 이틀째다. 사용량 정책, 실제 ChatGPT 환경에서의 성능, 커뮤니티 평가가 조금 더 쌓이면 이 결론은 다시 달라질 수 있다.

참고 자료

• OpenAI - GPT-6 Astra: A new generation of intelligence
• Artificial Analysis - Benchmarking GPT-6 Astra
• ARC Prize - OpenAI’s GPT-6 Astra on ARC-AGI-3
• Reddit r/singularity - GPT-6 Astra early impressions
• Reddit r/OpenAI - Astra (GPT-6) High Intelligence, Low Intuition
• Reddit r/OpenAI - Be Aware: Astra Burns Usage