GPT-6 아스트라 vs 클로드 페이블 5.1 코딩 비교, 게임·코드 리뷰·버그 찾기 [대결 시리즈 1편: 개발팀]

AI 업계에서 이런 대진표는 오랜만이에요.

9월 1일 앤트로픽이 클로드 페이블 5.1을 내놨어요. 이틀 뒤인 9월 3일에는 오픈AI가 GPT-6 아스트라로 맞불을 놨고요. 두 회사 모두 "우리가 만든 것 중 제일 똑똑하다"며 내건 간판 선수예요.

그 뒤로 개발자 커뮤니티가 시끌시끌해졌어요.

레딧에 페이블 구독을 끊고 아스트라로 넘어가 본 개발자의 후기가 올라왔어요. 결론은 뜻밖에 "하지 마라"였고 추천 274개가 붙었어요. 다른 게시판에서는 정반대 글이 추천 395개를 받았어요. 제목부터 "아스트라가 솔도 페이블도 못 한 걸 해냈다"였어요.

돈 얘기는 더 헷갈려요. 한쪽에선 "페이블이 아스트라보다 6배 싸던데요? 예상 밖이에요"라는 글이 올라왔어요. 그런데 한 유튜버가 같은 일을 맡기고 비용을 재 보니 이번엔 아스트라가 44% 덜 들었어요.

같은 두 모델을 두고 한쪽은 "갈아타지 마", 다른 쪽은 "드디어 해냈다"예요. 값도 페이블이 6배 싸다는 말과 아스트라가 거의 절반 값이라는 말이 같이 돌아요.

그럼 누구 말이 맞을까요?

그래서 경기 기록을 뒤졌어요. 세계 곳곳의 개발 유튜버들이 두 모델에게 똑같은 숙제를 내고 결과를 나란히 놓은 영상이 꽤 쌓여 있었어요. GTA를 통째로 만들라는 숙제도, 일부러 숨겨 둔 버그를 찾으라는 숙제도 있어요. 그중 제일 재밌는 판만 골라 다시 중계할게요.

코딩을 몰라도 따라올 수 있어요. 낯선 말이 나오면 노란 상자에서 바로 풀어 드릴게요.

오늘의 대진표

다섯 판은 개발팀이 실제로 일하는 순서를 따라가요.

개발팀 일은 대개 이렇게 흘러가요. 처음엔 아무것도 없는 데서 새로 만들고, 만든 서비스는 매일 고치고 다듬어요. 결과물이 나오면 누가 만들었든 품질만 따져 보고 숨은 버그를 찾아내요. 마지막엔 테스트를 돌리고 다음 사람이 이어받아도 읽히는 코드인지 확인해요.

그래서 뒤로 갈수록 화면은 수수해져요. 1판은 눈으로 보고 직접 해 볼 수 있는 게임인데 5판은 눈에 잘 안 보이는 코드 품질이거든요. 대신 회사 개발에서 더 자주 하는 일은 뒤쪽이에요. 화려한 1판만 보고 고르면 곤란해요.

판마다 눈여겨볼 거리는 하나씩이에요.

왜 이 시리즈를 만들었냐면요

점수표가 53 대 53, 동점이 나왔거든요.

AI 모델끼리 누가 더 센지 궁금하면 다들 시험 점수부터 찾아요. 독립 평가 기관 아티피셜 애널리시스는 여러 모델에게 같은 시험을 잔뜩 치르게 하고 종합 점수를 내요. 새 모델이 나올 때마다 가장 많이 인용되는 점수예요.

이번엔 아스트라 53점, 페이블 53점이 나왔어요.

점수표로는 더 가릴 수 없으니 진짜 일을 시켜 보고 결과물을 나란히 놓는 수밖에 없어요.

다행히 재료는 넘쳤어요. 출시 2주 만에 유튜브와 레딧에 두 모델을 맞붙인 기록이 잔뜩 쌓였어요. 게임을 만들게 한 사람, 자기가 운영하는 서비스를 통째로 맡긴 사람, 버그를 숨겨 두고 찾게 한 사람까지 있었어요.

그런데 기록마다 결론이 달라요. 앞에서 본 "하지 마라"와 "드디어 해냈다"처럼요. 하나씩 뜯어보니 이유가 있었어요. 시킨 일이 서로 달랐어요. 새 게임을 빨리 띄우는 일과 몇 주 묵은 버그를 잡는 일은 필요한 실력부터 달라요. 한쪽 일만 시켜 본 사람은 그쪽 결론만 말하게 돼요.

그래서 기록을 회사 부서별로 다시 묶었어요. 개발 일은 개발 일끼리, 기획 일은 기획 일끼리 모아야 "우리 팀 일에는 누가 더 잘 맞나"에 답이 나와요.

시리즈는 모두 다섯 편이에요.

• 1편 개발팀: 게임 만들기부터 버그 찾기까지, 바로 이 글
• 2편 기획팀: 발표자료부터 설명서까지
• 3편 마케팅팀: 판매 글부터 광고 영상까지
• 4편 운영팀: 장부 정리부터 밤샘 에이전트까지
• 5편 종합편: 네 부서 결과를 한 장에

경기 기록은 국내외 유튜버의 대결 영상과 레딧 사용자의 경험담에서 가져왔어요. 움직이는 화면은 원본 영상을 몇 초씩 잘라 출처를 달았어요. 제작자가 링크를 공개한 게임은 직접 켜서 찍었고요. 한쪽 편을 들지 않으려고 반대 결과가 나온 경기도 빼지 않았어요.

오늘의 두 선수

한 선수는 손이 빠른 스피드형, 다른 선수는 오래 걸려도 끝까지 파고드는 완성형이에요.

1P. GPT-6 아스트라

아스트라는 챗GPT를 만든 오픈AI의 최신 간판 모델이에요. 오픈AI가 소개하며 가장 앞에 내세운 건 컴퓨터와 브라우저를 직접 조작하는 능력이에요. 사람이 마우스로 하던 일을 화면을 보며 대신 하고, 코드 짜기와 자료 조사, 문서 만들기도 해요. 한 번에 기억하며 일하는 분량은 105만 토큰이에요. 두꺼운 책 여러 권을 통째로 펼쳐 놓고 일하는 셈이에요.

개발자들은 주로 오픈AI의 코딩 도구 코덱스에서 아스트라를 만나요. 성격은 신중한 편이에요. 오픈AI가 개발자 안내에 직접 "이전 모델보다 추측하는 대신 확인을 요청할 가능성이 크다"고 적어 뒀을 정도예요. 경기에서는 이 버릇이 득이 될 때도 있고 발목을 잡을 때도 있어요.

2P. 클로드 페이블 5.1

페이블은 클로드를 만든 앤트로픽의 최상위 모델이에요. 앤트로픽은 페이블의 강점으로 코딩, 지식 업무, 오래 걸리는 문제 풀기를 꼽았어요. 혼자 몇 시간씩 붙잡고 끝까지 가는 일에 강하다는 얘기예요. 5.1에서는 이미 읽은 내용을 다시 불러올 때 드는 캐시 요금도 75% 내렸어요.

개발자들은 주로 앤트로픽의 코딩 도구 클로드 코드에서 페이블을 써요. 성격은 아스트라와 반대로 적극적이에요. 앤트로픽은 페이블이 과제를 받으면 "요청한 것을 해내고, 가끔은 그 이상을 한다"고 적었어요. 옆 코드까지 손대거나 시키지 않은 기능을 덧붙이기도 한대요.

먼저 묻는 아스트라와 알아서 끝까지 가는 페이블은 다섯 판 내내 이 성격대로 움직여요.

1판. 게임을 통째로 만들어 봐

숙제는 게임 세 개예요. 손이 빠른 쪽과 끝까지 붙잡는 쪽 중 누구 게임이 더 재밌을까요?

첫 종목은 게임 만들기예요. 게임은 화면과 조작, 규칙, 점수가 전부 맞물려야 돌아가요. 그래서 AI의 코딩 실력이 그대로 드러나요. 결과를 직접 해 볼 수 있으니 판정도 깔끔하고요.

1경기. GTA를 만들어 줘

심판은 구독자 약 8만 명인 개발 유튜버 코드팩토리예요. 폴더에 GTA 스크린샷 몇 장을 넣어 두고 지시는 이게 전부였어요.

여기 있는 파일들을 참고해서 GTA 게임 클론을 만들어 줘. 이 게임에 대해 인터넷에서 리서치해서 어떤 기능이 있는지 찾아보고, 최대한 유사하게 만들어 줘.

두 선수 모두 깊게 생각하는 설정(xhigh)에서 출발했어요. 코드팩토리는 AI가 스스로 얼마나 창의적인지 보려고 지시를 일부러 짧게 줬대요.

🏁 먼저 결승선을 밟은 건 아스트라, 25분 28초예요!

페이블과는 1시간 넘게 차이가 났어요. 아스트라는 속도를 1.5배 올리는 패스트 모드를 켜 둔 상태였지만, 코드팩토리는 그걸 감안해도 "압도적으로 빠르다"고 했어요.

아스트라의 GTA, 첫인상은 대박

노을 진 도시에 빨간 스포츠카가 반짝이고, 차도 가볍게 튀어 나가요. 화면을 본 코드팩토리의 첫 생각은 "이거 페이블이 질 것 같은데"였대요. 25분 만에 이만큼 나왔으니 그럴 만해요.

그런데 지도를 열자 분위기가 싸해졌어요.

지도가 텅 비어 있어요. 가게 표시도 미션 장소 표시도 없어요. 화면 왼쪽엔 "경찰을 따돌리고 소포를 전달하라"는 미션이 떠 있는데, 막상 전달 장소에 가 봐도 아무 일이 없어요. 지나가는 사람을 때릴 수도 없고요. 이러면 GTA라기보다 드라이브 게임에 가까워요.

페이블의 GTA, 늦게 왔는데 총소리부터 들린다

페이블이 들어온 건 1시간 25분 48초 뒤였어요. 그동안 코드팩토리는 손 놓고 기다려야 했고요.

그런데 게임을 켜자마자,

탕, 탕! 총소리부터 들려요.

어딘가에서 총성이 울리고 경찰이 따라붙어요. 총을 맞으면 화면이 흑백으로 바뀌면서 분홍색 WASTED 글자가 떠요. GTA를 해 봤다면 웃음부터 나올 장면이에요. 죽은 뒤엔 병원에서 다시 깨어나요.

해 볼 게 끝이 없었어요.

• 길가에 세워진 차를 훔쳐 탈 수 있어요. 무거운 차는 묵직하게, 가벼운 차는 날렵하게 움직여서 차마다 몰아 보는 느낌이 달라요
• 지도에 무기 가게와 미션 장소가 나와요
• 무기 가게에서 E 키를 누르면 야구 방망이·권총·샷건이 담긴 메뉴가 떠요. 돈이 모자라 총을 못 산 코드팩토리는 그냥 웃고 말았어요
• 사람을 때릴 수도, 돈을 주워 모을 수도 있어요

"어디까지 구현했는지 궁금해서 계속 플레이하게 되더라"는 게 코드팩토리의 소감이에요. 결국 25분짜리는 금방 껐는데 1시간 25분짜리는 한참 붙잡고 놀았어요.

2경기. 이번엔 도시를 만들어 줘

코드팩토리가 낸 두 번째 숙제는 도시 건설 게임 시티 스카이라인이에요. 이번엔 참고 이미지 없이 "알아서 리서치해서 만들어 줘" 한마디뿐이었어요.

결승선은 이번에도 아스트라가 먼저 밟았어요. 걸린 시간은 21분이에요. 페이블은 웹 검색부터 한참 돌리더니 1시간 가까이 썼어요.

두 화면을 나란히 놓으면 왼쪽이 한눈에 더 예뻐요. 강이 흐르고 숲이 우거진 땅 위로 집과 빌딩이 빽빽하게 들어섰어요. 코드팩토리도 "분위기와 그래픽 감각은 GPT가 훨씬 잘했다, 이건 인정할 수밖에 없다"며 손을 들어 줬어요.

그런데 이번에도 속을 들여다보니 얘기가 달랐어요.

아스트라 도시에는 땅에서 붕 떠 있는 아파트가 있었어요. 나무 위에 집을 지어도 나무가 그대로 남았고요. 풍력 발전기를 세워도 전선을 이을 필요가 없었어요. 이런 게임에선 원래 "일자리가 없다", "불이 났다" 같은 사건이 쉴 새 없이 터지는데, 여기엔 그런 일도 없었어요. 코드팩토리는 "보기 좋게 설계된, 번지르르한 결과물"이라고 했어요.

페이블 도시는 모양은 투박해도 진짜로 굴러갔어요. 코드팩토리가 30분 동안 붙잡고 플레이했을 정도예요.

• 송전선을 안 깔면 "전력이 부족하다" 경고가 떠요. 깔아 놔도 발전기가 모자라면 불만이 그치지 않아요. 발전기를 더 짓고 나서야 잠잠해졌어요
• "병원이 부족하다"는 민원도 들어와요
• 처음엔 도로와 구역만 깔 수 있어요. 레벨이 오르면 교통, 공원 같은 기능이 하나씩 풀려요
• 병원 지을 돈이 없어 둘러보니 대출 버튼이 있었어요. 코드팩토리가 여기서 크게 웃었어요
• 재활용 같은 정책을 켜면 도시 모습이 실제로 달라져요. 수도관은 하나하나 직접 이어 줘야 해요

3경기. 좀비 게임, 그리고 갑자기 1인칭으로

0 대 2. 이대로 끝나면 싱거워요.

아스트라는 유튜버 런빌드의 경기장에서 반격했어요.

런빌드는 예전에 AI와 한 시간 넘게 씨름해서 겨우 완성한 좀비 슈팅 게임을 두 선수에게 똑같이 숙제로 냈어요. 지시문은 아래와 같아요.

브라우저에서 바로 실행되는 2D 탑다운 좀비 서바이벌 슈팅 게임을 HTML 파일 하나로 만들어 줘. 캐릭터, 좀비, 아이템 그림은 외부 이미지를 쓰거나 코드로 그리지 말고, 이미지 생성 도구로 직접 만들어서 넣어 줘.

출발선부터 페이블이 불리했어요. 그림을 그리는 이미지 생성 도구가 코덱스에는 기본으로 들어 있지만 클로드 코드에는 없거든요. 런빌드는 페이블이 오픈AI 그림 모델을 빌려 쓸 수 있도록 열쇠(API 키)를 따로 챙겨 줬어요.

전반전, 2D 좀비 게임

먼저 끝낸 쪽은 아스트라였고 약 10분이 걸렸어요. 배경, 주인공, 좀비, 아이템을 직접 그리고, 그림마다 뒤쪽 배경을 깔끔하게 지워 게임에 넣었어요. 제한 시간과 체력, 아이템 떨구기처럼 시키지 않은 요소도 알아서 챙겼고요. 이동과 사격 역시 첫 실행부터 오류 없이 돌아갔어요.

페이블은 5분쯤 뒤에 도착했어요. 늦은 대신 그림체가 더 만화 같았고 즐길 거리도 많았어요. 바닥에 놓인 드럼통을 쏘면 펑 하고 터지면서 근처 좀비까지 피해를 입어요. 시간이 흐르면 다음 단계가 열리고 새 좀비와 보스가 등장해요.

전반전까지는 런빌드도 "두 모델 모두 나무랄 데 없다"고 평가했어요. 승부가 갈린 건 후반전이에요.

후반전, 갑자기 1인칭으로 바꿔 줘

런빌드가 판을 뒤집었어요.

"지금 게임의 기능과 스타일은 최대한 살리고, 고전 게임 둠처럼 1인칭 시점으로 바꿔 줘." 처음부터 새로 만드는 것보다 훨씬 까다로운 주문이에요. 이미 지은 집을 허물지 않은 채 구조만 바꿔야 하니까요.

이번에도 먼저 끝낸 쪽은 아스트라, 약 10분이었어요. 그런데 켜 보니 한 군데가 말썽이었어요.

앞뒤로 걷기는 하는데 마우스를 움직여도 시야가 안 돌아가요. 1인칭 게임에서 고개를 못 돌리면 사실상 플레이가 불가능해요. 런빌드가 "이것 좀 고쳐 줘" 한마디를 건네자 아스트라는 금세 고쳐 왔어요. 고친 뒤엔 좀비 쪽으로 총구가 부드럽게 따라 돌아가요.

그 시간에 페이블은? 아직 작업 중이었어요.

페이블은 아스트라가 수정까지 끝낸 뒤에도 10분쯤 더 매달렸어요. 마침내 완성본이 나왔지만 실행 버튼을 누르자마자 오류가 떴어요. 런빌드가 오류 메시지를 복사해 넘기고 한 번 더 고쳐 달라고 하고 나서야 제대로 돌아갔어요.

결과물만 놓고 보면 페이블 쪽도 멋져요. 2D 때의 만화 그림체가 1인칭 화면에서도 그대로 이어지고, 화면 아래엔 체력과 무기를 보여 주는 둠 스타일 상태판까지 붙어 있어요. 다만 이 경기는 다른 기준으로 승부를 가렸어요.

런빌드가 좀비 게임 링크를 공개해 둬서 누구나 직접 해 볼 수 있어요. 9월 17일에 네 판을 전부 켜 봤더니 시작 화면과 게임 화면 모두 문제없이 떴어요. 영상 촬영 뒤에 손본 내용이 섞여 있을 수는 있어요.

좀비 게임 사진은 런빌드가 공개한 링크로 들어가 직접 실행한 화면이에요. 움직이는 장면은 코드팩토리와 런빌드의 유튜브 영상에서 몇 초씩 잘라 왔어요.

1판 최종 결과

그래서 나는 뭘 써야 해요?

이 질문엔 코드팩토리의 답이 가장 깔끔해요.

성격이 급하면 아스트라

페이블이 결과물 하나를 내놓는 1시간 25분이면, 아스트라에게서는 25분짜리 결과를 받아 보고 "여기 고쳐 줘"를 다섯 번 할 수 있어요. 중간 결과를 보면서 방향을 계속 잡아 줄 사람에겐 이쪽이 훨씬 재밌어요.

느긋하게 기다릴 수 있으면 페이블

반대로 뭘 고쳐 달라고 해야 할지 아직 감이 없는 초보자에겐 한 번에 완성에 가깝게 가져오는 페이블이 더 편할 수 있다고 코드팩토리는 봤어요.

2판. 이미 돌아가는 서비스를 손봐 줘

이번엔 사람들이 매일 쓰는 진짜 서비스를 맡겼어요. 망가뜨리면 안 되는 판이에요.

게임 만들기는 빈 땅에 새 건물을 올리는 일에 가까워요. 회사 개발자는 정작 하루 대부분을 이미 지어진 건물을 고치는 데 써요. 느린 곳은 빠르게 손보고, 화면은 새로 꾸미고, 기능은 하나씩 덧붙여요. 지금 누군가 쓰고 있는 서비스라 한 곳을 고치다 멀쩡한 곳을 망가뜨리면 큰일이에요.

2판 심판은 유튜브 채널 실밸개발자예요. 운영자는 메타에서 일하는 시니어 엔지니어예요. 이 사람이 동료와 함께 만드는 유튜브 썸네일 제작 서비스 오토클릭(AutoKliq)을 통째로 경기장에 내놨어요.

경기는 이렇게 진행됐어요.

• 둘 다 가장 오래 생각하는 최고 설정(max)으로 경기에 나섰어요
• AI 하나가 지휘를 맡아 클로드 코드 창과 코덱스 창을 나란히 열고, 둘에게 같은 지시문을 동시에 넣었어요
• 지시는 처음 한 번으로 끝이었고, 사람은 도중에 한 번도 끼어들지 않았어요

1경기. 우리 서비스 홍보 영상을 만들어 줘 🎬

첫 숙제는 앱을 직접 띄워 써 본 다음 45초짜리 온보딩 영상과 15초짜리 홍보 영상을 코드로 만들어 파일까지 뽑는 일이었어요. 실밸개발자는 AI가 제품을 써 보고 얼마나 이해하는지도 같이 보려 했대요.

실밸개발자는 어느 쪽 작품인지 알려 주지 않은 채 두 영상을 틀었어요. 하나는 깔끔한 화면이 소리 없이 넘어가는 영상이었어요. 다른 하나에는 내레이션과 자막, 배경음악까지 다 들어 있었어요.

목소리가 들어간 쪽이 아스트라 작품이었어요. 🎙️

실밸개발자는 온보딩 영상만 놓고 보면 아스트라 쪽이 "조금 더 괜찮았다"고 했어요. 그러면서도 페이블 쪽이 더 깔끔하다고 느낄 사람도 있을 테니 "개인적인 취향 같다"고 했고요. 15초 홍보 영상은 "거의 비슷했다"는 평이었어요. 비용은 아스트라가 두 배쯤 들었는데, 소리까지 만들었고 패스트 모드였으니 납득이 간다고 했어요. 시간은 둘이 비슷하게 걸렸어요.

2경기. 썸네일 만드는 시간을 절반으로 줄여 줘 ⏱️

오토클릭에서 썸네일 하나를 뽑으려면 꽤 기다려야 해요. 그래서 실밸개발자는 대략 이런 지시를 넣었어요.

썸네일 생성이 너무 느립니다. 이걸 절반으로 줄여 주세요. 지켜야 할 것들은 하나도 바꾸지 말고, 품질을 떨어뜨리는 변경을 했다면 보고서에 꼭 적어 주세요.

핵심은 마지막 문장이에요. AI는 목표 숫자를 맞추느라 품질을 몰래 깎는 꼼수를 부릴 수 있어서, 그걸 막으려고 일부러 넣은 조건이래요.

결승선은 이번에도 아스트라가 먼저 밟았어요. 들어간 돈도 페이블의 절반이 안 됐어요.

문제는 결과표였어요. 📉

둘 다 절반은커녕 근처에도 못 갔어요. 아스트라가 줄인 시간은 평균 1%쯤, 약 10초였어요. 실밸개발자 표현으로는 "사람이 느끼기엔 거의 그대로"인 수준이에요. 페이블은 상황마다 2~6%, 시간으로 20~30초를 줄였어요. 크게 줄진 않았지만 "조금 유의미한 결과"라는 평을 받았어요.

3경기. 화면을 전부 다시 디자인해 줘 🎨

이 판에서 가장 볼 만한 건 세 번째 숙제였어요. 지시 내용은 이랬어요.

• 오토클릭 화면을 통째로 다시 설계할 것
• 원래 있던 기능을 없애지 말고, 바꾼 뒤 실제로 돌아가는지 확인할 것
• 사람이 쓰기에도 AI 에이전트가 쓰기에도 편할 것
• 시간 제한은 없고, 중간에 묻지 말고 판단할 일이 생기면 스스로 정할 것

대진표에서 던진 질문, 기억하세요? "묻지 말고 알아서 고쳐"라고 하면 누가 더 과감하게 나올까요?

묻지 말라고 하자 둘이 손댄 범위가 크게 갈렸어요. 🏠

페이블은 있던 화면을 정리하는 데 집중했어요. 새 썸네일 화면은 "어떤 영상인가요?", "헤드라인과 톤", "오토클릭이 참고할 것" 세 칸으로 나눴어요. 인사이트 화면에서는 규칙, 가설, A/B 테스트를 위쪽으로 끌어올려 눈에 잘 띄게 했고요. 실밸개발자 평은 "어느 정도 다듬었지만 크게 다듬은 느낌은 아니다"였어요.

아스트라는 아예 없던 홈 화면을 만드는 것부터 시작했어요. "오늘은 어떤 영상을 만드나요?" 칸에 한 줄만 쓰면 바로 썸네일 만들기 화면으로 이어져요. 썸네일 만들기는 이야기, 표현 방식, 소재와 참조, 생성 전 확인까지 네 단계로 나눴어요. 프로젝트 목록에는 제목이나 콘셉트로 찾는 검색창을 넣고 진행 상태도 보이게 했어요. 아스트라는 "크리에이터의 작업실"이라는 콘셉트를 스스로 정해 핵심 화면 다섯 개를 다시 설계했다고 보고했대요.

들인 돈과 시간은 둘이 거의 같았어요.

4경기. 코드 창고 안을 3D로 걸어 다니게 해 줘 🏙️

마지막 숙제는 재미로 낸 문제예요. 오토클릭은 동료가 석 달 동안 혼자 만들어 온 서비스예요. 나중에 합류한 실밸개발자는 처음에 코드를 읽어 내기가 무척 힘들었대요. 그래서 이 코드 저장소를 3D 공간으로 바꿔서 걸어 다니며 구경하게 해 달라고 했어요.

페이블의 도시에서는 게임처럼 움직여요. W, A, S, D로 걷고, Shift를 누르면 달리고, 스페이스를 누르면 점프해요. 폴더는 구역으로, 파일은 건물로 바뀌었고 파일 종류에 따라 건물 색이 달라요. 오른쪽 위에는 미니맵까지 붙어 있어요. 다만 3D 모델링이 뛰어나다는 점은 "잘 안 느껴진다"는 게 실밸개발자의 평이었어요.

아스트라의 도시는 들어가자마자 "여덟 개의 공간"이라는 안내가 먼저 떠요. 건물 하나가 파일 하나를 뜻하고, 건물 높이는 코드 줄 수예요. 하늘에서 내려다보는 조감도로 보다가 땅에 내려와 직접 걸을 수도 있어요.

승부를 가른 건 "썸네일의 여정" 투어였어요. 🧭

투어 버튼을 누르면 썸네일 요청 하나가 코드 속을 지나가는 길을 따라가며 설명이 나와요. 요청이 들어오면 인증을 확인하고 작업을 넘긴 뒤, 영상 내용을 분석하고 이미지를 만들어요. 그다음 저장을 거쳐 크리에이터에게 결과가 돌아가요. 뒤늦게 합류한 개발자에게 딱 필요했던 안내서였어요.

속도는 이번엔 페이블이 앞섰고, 비용도 아스트라의 절반이 안 들었어요. 그런데 결과물을 본 실밸개발자는 아스트라 쪽을 두고 "너무너무 마음에 든다"고 했어요. 이번 경기도 아스트라의 압승이라는 판정이었어요.

번외. 둘이 한 팀이면 더 잘할까? 🤝

끝으로 실밸개발자는 두 선수를 한 팀에 넣었어요. 일은 아스트라가 하고 검토는 페이블이 맡는 식이에요. 의도 파악부터 계획, 구현, 검증, 보고까지 단계가 넘어갈 때마다 서로 결과물을 들여다보며 리뷰하게 했어요. 사람이 한 일은 맨 처음에 의도를 한 번 확인해 준 것뿐이에요.

천재 둘이 한 팀이 됐으니 결과도 그만큼 좋아졌을까요?

오히려 혼자 할 때보다 못한 데가 생겼어요. 😶

혼자 할 때와 비교하면 영상과 최적화에선 별 차이가 없었어요. 최적화로 줄인 폭도 2~3%에 머물렀고요. 달라진 건 화면 개편이에요. 홈 화면은 아스트라 느낌을 따랐는데, 일부 화면에는 페이블이 짠 구조가 들어왔어요. 두 방향이 섞이는 사이 아스트라 혼자 만들 때 있던 프로젝트 검색창이 사라졌어요.

그러니 두 모델을 같이 돌릴 생각이라면, 일을 시작하기 전에 최종 결정을 누가 할지부터 정해 두는 편이 좋아요.

2판 최종 결과

실밸개발자는 실험의 한계도 숨기지 않았어요. 이번 비교에는 모델 실력뿐 아니라 클로드 코드와 코덱스라는 작업 도구의 차이까지 섞여 있어요. 과제마다 딱 한 번씩 돌렸고, 한 사람의 코드로만 해 본 실험이기도 해요. 그래서 "어느 모델이 낫다고 증명하기는 애매하다"고 했어요. 대신 실밸개발자가 얻은 결론은 분명했어요. AI가 아무리 좋아져도 사람이 방향을 잡고 중간에 검증해야 결과가 좋아진다는 거예요.

3판. 누가 만든 건지 모르게 채점해 봐

이번 판은 누가 만들었는지 가린 채 채점했어요. 모델 이름값은 통하지 않았어요.

만든 쪽이 아스트라라는 말을 듣는 순간 평가하는 눈부터 달라지기 쉬워요. 그래서 3판은 이름표를 먼저 떼고 시작했어요.

심판을 맡은 건 구독자 16만 명인 유튜브 채널 AI LABS예요. 소프트웨어를 실제로 만들어 파는 회사라, 연습 문제 대신 진짜 고객사 프로젝트를 두 모델에게 나눠 맡겼어요. 채점은 또 다른 AI인 GPT-5.6이 했어요. 이 채점 AI는 어떤 결과가 페이블 것이고 어떤 결과가 아스트라 것인지 모르는 채로 점수를 매겼어요.

AI LABS가 채점한 항목은 모두 여섯 가지였어요. 이 중 코드 리뷰는 4판으로 따로 뺐어요.

1경기. 코드는 누가 더 잘 짰을까 🧱

채점 항목	아스트라	페이블
코드 구조와 정리	78	90
요청한 작업을 얼마나 끝냈나	84	91
따로 고쳐 달라는 말 없이 잘 돌아가나	87	85
앱이 쓰기 편한가	89	88
품질 종합	84	88

페이블은 앱의 기능별로 코드를 깔끔하게 나눠 두어서 나중에 손대기 쉬웠어요. 구조 점수는 모든 프로젝트에서 페이블이 앞섰대요. 시키지 않은 문제까지 찾아 고쳐서 완료 점수도 높게 받았고요.

아스트라는 자기가 만든 앱을 더 꼼꼼하게 돌려 봤어요. 그 덕에 따로 손보지 않아도 잘 돌아가는 기능이 조금 더 많았어요. 페이블은 테스트하면서 오류가 날 수 있는 상황 몇 가지를 빠뜨렸대요.

2경기. 혼자서 앱 하나 끝까지 만들기 🏃

이번엔 앱 아이디어 하나만 던져 주고 나머지는 모델에게 맡겼어요. 원하는 세부 사항은 하나도 말하지 않고 앱이 해야 할 일만 설명했대요. 지시문은 모델마다 공식 작성 가이드를 따라 따로 썼고요.

두 모델 모두 중간에 멈추거나 "다음엔 뭘 할까요?" 하고 되묻지 않았어요. 끝까지 혼자 밀고 갔어요. 아스트라는 만들고 확인하는 사이 오류를 만났지만 사람 손을 빌리지 않고 스스로 고쳐 나갔어요.

로그인해 들어가 보면 아스트라의 앱은 화면 배치가 잘 정리돼 있고 기능도 제대로 돌아가요. 다만 AI가 만든 앱에서 흔히 보던 배치이긴 했어요.

그런데 로그아웃 버튼에 손이 닿지 않아요. 😵

왼쪽 패널이 끝까지 스크롤되지 않아서 맨 아래 버튼이 화면 밖에 걸려 있었어요. AI LABS는 화면을 축소한 뒤에야 겨우 로그아웃을 눌렀대요. 아스트라가 스스로 점검할 때도 이 문제는 못 잡았어요.

페이블의 앱은 기능은 깊이 들어갔지만 요소가 너무 빽빽하게 붙어 있어 쓰기 불편했어요. 같은 그라데이션이 계속 반복돼서 AI가 만든 티도 났대요. 작은 화면에서도 크기는 줄어들었지만, 쓸 만한 배치라고 하긴 어려웠고요.

점수는 아스트라 93, 페이블 90이었어요. AI LABS가 보기에 페이블은 지시문에 모양까지 챙기라는 말이 없으면 기능 쪽으로만 쏠렸어요. 아스트라는 작동하는 것과 보기 좋은 것을 둘 다 챙겼다는 평이었고요.

3경기. 디자인 과제 네 개 🖼️

과제는 네 가지였어요. 폰트 파는 회사의 소개 페이지, 공포 게임 소개 페이지, 음악 축제 사이트, 평행 주차 게임이에요. 디자인 요구 사항을 거의 주지 않았기 때문에 모델 본인의 취향이 그대로 드러났어요. AI LABS는 AI 채점만 믿지 않으려고 결과물을 넘겨 가며 보는 뷰어까지 만들어 직접 써 봤대요.

공포 게임 페이지. 페이블은 그림 파일 하나 없이 코드(SVG)만으로 등대 불빛이 도는 밤바다를 그려 냈어요. 분위기는 제대로 살았는데, 고른 글자 크기와 색 때문에 어두운 배경에서 글자가 묻혔어요. 아스트라는 코덱스에 딸린 이미지 생성 도구로 숲속 오두막 그림을 뽑아 넣었어요. 시키지도 않은 게임 티저까지 만들었고, 글꼴과 색 선택이 좋아서 글자도 또렷하게 읽혔어요.

평행 주차 게임. 페이블은 완성도 높은 3D 게임을 내놨어요. 백미러가 달려 있어서 차를 어느 쪽으로 틀어야 할지 가늠하기도 편했고요. 문제는 카메라였어요. 시점 두 개 중 하나는 주차 칸 반대편을 비추고 다른 하나는 한쪽만 보여 줘서, 차 앞이 잘 안 보였대요. 아스트라는 고정 시점 세 개를 두고 옆 패널에 운전 팁을 띄웠어요. 덕분에 게임 난도가 훨씬 낮아졌고 카메라 시점도 모두 페이블보다 낫다는 평을 받았어요.

남은 두 과제는 한쪽으로 기울지 않았어요. 폰트 회사 페이지에서 페이블 쪽은 오퍼스가 자주 만들던 색과 배치를 닮았어요. 대신 움직이는 요소가 훨씬 많아서 만져 보는 재미가 있었대요. 아스트라 쪽은 여백이 넉넉하고 글자 대비가 뚜렷해 읽기는 편했지만 움직임이 적었어요. 음악 축제 사이트에서는 페이블이 자기 색을 더 살렸어요. 아스트라는 직접 생성한 공연 사진을 넣었는데도 전체 인상은 평범했대요.

AI LABS는 이렇게 정리했어요. 보기 좋고 쓰기 편한 화면은 아스트라 쪽이 낫고, 애니메이션과 화면 반응(인터랙션)은 페이블 쪽이 낫다고요. 인터랙션 점수만 떼어 보면 페이블 94, 아스트라 85였어요.

4경기. 돈과 시간, 누가 덜 썼을까 💸

두 모델 다 구독 요금제 안에서 돌렸기 때문에, 아래 금액은 같은 작업을 API로 했다면 얼마가 나왔을지 토큰 사용량으로 거꾸로 계산해 본 추정치예요.

아스트라 쪽 비용이 44% 적었어요.

두 모델은 토큰 하나에 매기는 값이 같아요. 그러니 차이는 말수에서 났어요. 페이블이 쓴 출력 토큰은 아스트라의 거의 세 배였어요. 페이블 공식 작성 가이드에도 다른 모델보다 토큰을 많이 쓰는 편이라고 나와 있대요. 도구도 훨씬 자주 꺼내 썼어요. 메인 에이전트가 여섯 번 실행하면서 도구를 부른 횟수를 세 보니 페이블 443번, 아스트라 287번이었어요.

시간에서도 아스트라가 앞섰어요. 오래 걸리는 작업만 모아 보면 아스트라는 약 62분, 페이블은 약 73분이었어요. 점수로 바꾸면 비용은 아스트라 80 대 페이블 66, 속도는 70 대 67이에요.

5경기. 시킨 대로 했을까 📋

AI한테 일을 맡기는 팀은 보통 규칙 파일을 하나 두고 "이건 하지 마" 같은 금지 사항을 적어 둬요. 페이블은 이 규칙을 두 번이나 어겼어요.

하나는 커밋 메시지예요. 작업을 저장할 때 남기는 커밋 메시지에 "클로드가 함께 썼다"는 공동 작성자 표시를 넣지 말라고 규칙 파일에 분명히 적어 뒀는데, 페이블은 이 표시를 붙였어요. 다른 하나는 파일 만드는 방법이에요. 기록이 남고 되돌리기 쉬운 전용 편집 도구로만 만들라고 했는데도 페이블은 명령어를 실행해 파일 두 개를 만들었어요.

지시를 얼마나 잘 따랐는지 매긴 점수는 아스트라 96, 페이블 88이었어요.

3판 최종 결과

이제 채점표를 모두 더해 볼게요. 🥁

그렇다고 페이블이 나쁜 모델이라는 뜻은 아니라고 AI LABS는 짚었어요. 아스트라가 여러 항목을 가져갔을 뿐이라는 거예요. 마지막 조언은 "맡길 일에 따라 모델을 고르라"였어요.

4판. 숨겨 둔 버그를 찾아라

일부러 숨겨 둔 버그를 찾아내는 판이에요. 어느 쪽 눈이 더 매서울까요?

코드 리뷰는 개발팀이 AI에게 자주 맡기는 일이에요. 짠 사람이 사람이든 AI든, 서비스에 올리기 전에 문제를 미리 걸러 내는 작업이에요. 4판 심판도 3판과 같은 AI LABS예요.

1경기. 숨은 버그 네 마리 찾기 🐛

AI LABS는 같은 코드에 버그 4개를 몰래 심어 두고, 함정도 3곳 만들었어요. 함정이란 수상해 보이지만 사실은 멀쩡한 코드예요. 없는 버그를 있다고 우기는지까지 확인하려는 장치였어요.

페이블은 심어 둔 4개를 하나도 빠짐없이 찾고, 5개를 더 들고 왔어요. 🔍

페이블이 더 찾아낸 5개는 AI LABS가 심어 둔 게 아니었어요. 하나씩 확인해 보니 다섯 개 모두 실제로 있던 문제였고요. 아스트라는 4개 중 2개를 찾은 뒤 "리뷰를 마쳤다"고 보고했어요. 함정 3곳에 속은 쪽은 없었어요.

2경기. 더 큰 프로젝트에서 직접 고치기 🔧

다음 무대는 더 큰 프로젝트였어요. 이미 확인된 문제가 9개 있었고, 이번에는 찾는 데서 끝내지 말고 직접 고치라고 했어요.

이번에는 아스트라가 한 개 더 고쳐서 앞섰어요. 다만 둘 다 끝내 손대지 못한 문제가 남았어요.

판정은 리뷰 종합 점수로

1 대 1로 비기면 승부는 어디서 갈릴까요? AI LABS는 리뷰 품질 점수를 따로 냈어요. 찾은 문제와 고친 문제, 자기 작업을 점검한 방식까지 한데 묶은 점수예요.

리뷰 종합 점수 페이블 84, 아스트라 78.

AI LABS도 "더 튼튼한 리뷰를 해 준 쪽은 페이블"이라고 평가했어요.

영상 설명란 요약에는 두 점수가 뒤바뀌어 있어요. 여기 적은 점수는 영상 본편에서 직접 말한 쪽을 따랐어요.

번외. 레딧 증언대 🎤 막힌 버그, 다른 모델에게 넘기면 풀릴까?

실제 개발자들이 레딧에 남긴 경험담도 세 개 골라 봤어요. 각자 한 사람의 경험이라 승패 계산에서는 뺐어요. 읽어 보면 결론도 제각각이에요.

결론은 엇갈려도 공통으로 건질 교훈이 하나 있어요. 한 모델에 오래 매달려도 안 풀리면 그 모델을 계속 조르기보다 다른 모델에게 두 번째 의견을 구해 보세요.

4판 결과

9월 18일 수정. 처음 공개한 글에서는 이 판을 무승부로 적었고, 리뷰 점수도 아스트라 84, 페이블 78로 뒤바꿔 옮기는 실수를 했어요. 영상 본편을 다시 확인해 점수를 고친 뒤 1 대 1 상황은 리뷰 종합 점수로 판정했어요.

5판. 테스트 만점 vs 읽기 좋은 코드

테스트를 다 통과하는 코드와 남이 읽기 좋은 코드, 하나만 고른다면 어느 쪽일까요?

코드가 "돌아간다"와 "좋다"는 같은 말이 아니에요. 지금 잘 돌아가도 다른 사람이 읽지 못하는 코드는 나중에 고칠 때 탈이 나거든요. 그래서 마지막 판은 두 가지를 따로 쟀어요.

마지막 판 심판은 유튜브 채널 AI Coding Daily예요. 운영자는 PHP 개발 강의를 만드는 개발자이고, AI 모델 36개를 같은 과제로 비교한 순위표도 관리해요.

1경기. 예외 상황 테스트 🧪

과제는 프로젝트 4개예요. 여러 기기의 데이터를 맞추는 동기화, CSV 파일 가져오기처럼 하나같이 예외 상황이 잔뜩 숨어 있는 작업이에요. 프로젝트마다 같은 지시를 5번씩 내리고 테스트를 몇 개나 통과하는지 셌어요. 프로젝트당 5점, 모두 합쳐 20점 만점이에요.

아스트라가 20점 만점을 받았어요. 🎯

이 순위표에서 네 프로젝트를 모두 만점으로 통과한 모델은 아스트라가 처음이에요. 다섯 번을 돌려도 테스트가 한 번도 실패하지 않았어요.

페이블은 중간 설정(medium)으로 나왔어요. 리뷰어가 월 20달러 요금제를 쓰고 있어서 크레딧을 따로 충전해 돌렸대요. 출발은 좋았어요. 처음엔 테스트 29개를 다 통과했는데 곧 실수가 나왔어요.

데이터 동기화 프로젝트에서는 같은 예외 테스트 하나를 다섯 번 모두 통과하지 못했어요. CSV 가져오기에서는 CSV가 아닌 파일이 올라왔는데도 오류 대신 "성공"을 돌려준 적이 있었고요. 최종 점수는 18.25점, 순위는 3위였어요.

페이블도 속도는 빨랐어요. 지시 하나를 처리하는 데 평균 3분 남짓이라 가장 빠른 축에 들었어요. 다만 비용이 지시당 1.53달러로 아스트라(0.69달러)의 두 배를 넘었어요. 당시 순위표에서 페이블보다 비싼 건 오퍼스 5 하이 설정 하나였대요.

2경기. 코드 품질 재채점 🧐

테스트를 통과했다고 좋은 코드라는 보장은 없어요. 리뷰어는 그래서 다른 AI(GPT-5.6 솔)에게 100점 만점 기준표를 주고 코드 품질을 채점하게 했어요. 설계 판단, 중복되거나 안 쓰는 코드, 권한 처리, 사용자에게 보이는 오류 같은 항목마다 조금씩 깎는 식이에요. 지난번 채점 방식에 오류가 있어서 이번엔 모든 모델을 새 기준으로 다시 매겼대요.

다시 채점하니 코드 품질 1위는 아스트라가 아니었어요. 😮

코드 품질 점수(20점 환산)는 페이블 18.55, 아스트라 18.2였어요. 오퍼스 5 하이 설정이 18.55로 페이블과 공동 1위였어요. 키미 K3도 아스트라를 앞섰어요.

리뷰어 혼자만의 인상도 아니었대요. 비슷한 시기에 X에서 "아스트라에는 코드 품질 문제가 있다"는 글이 좋아요 2,500개를 받았거든요. 리뷰어는 3D와 화면 예시가 화려한 탓에 아스트라가 조금 과대평가됐다고도 봤어요.

페이블은 어떻게 쓰는 게 좋을까요? 리뷰어 말로는 비싼 모델이라 코드를 직접 짜게 하기보다 아이디어 다듬기, 계획 세우기, 예외 상황 미리 짚기 같은 지휘 역할을 맡기는 사람이 많대요. 실제 코딩은 다른 모델에게 넘기고요. 리뷰어 본인도 그렇게 쓴대요.

번외. 레딧 증언대 🎤 "하지 마라"

도입부에서 잠깐 언급한 그 글이에요. 회사 실무 코드에 두 모델을 번갈아 써 본 개발자의 평은 이랬어요.

추천 65개를 받은 또 다른 댓글은 이 논쟁을 한 문장으로 정리했어요. "한 번에 보여 주는 데모에서는 아스트라가 이길지 몰라도, 실제 프로젝트에서는 여전히 페이블이 더 똑똑하다."

5판 결과

다섯 판 최종 결과 🏆

다섯 판이 다 끝났어요. 이제 전광판 불을 켜 볼까요?

다섯 판을 치른 결과는 2 대 2. 😮

단, 심판도 채점 방식도 판마다 달라요. 3판과 4판은 같은 AI LABS 실험을 둘로 나눈 것이라 완전히 따로 치른 경기도 아니고요. 그러니 2 대 2를 "코딩 실력이 똑같다"로 받아들이면 곤란해요. 판마다 승부를 가른 기준은 아래와 같아요.

• 1판: 게임 세 경기 중 두 경기에서 페이블이 이겼어요
• 2판: 네 경기에서 아스트라가 2승 1무 1패를 거뒀어요
• 3판: 누가 만든 건지 가리고 매긴 AI LABS 종합 점수에서 아스트라가 86 대 84로 앞섰어요
• 4판: 경기는 1 대 1이었고 AI LABS의 리뷰 종합 점수에서 페이블이 84 대 78로 앞섰어요
• 5판: 테스트는 아스트라, 코드 품질은 페이블이 앞섰어요. 순위표 총점은 아스트라가 1위(38.2점)였지만 여기서는 두 기준을 한 경기씩 셌어요

그렇다고 두 모델의 성격까지 같지는 않아요. 이긴 판이 완전히 달랐거든요.

• 아스트라가 앞선 분야: 빨리 띄우는 시제품, 화면 개편과 3D, 혼자 끝까지 만들기, 적은 비용, 시킨 대로 하기, 예외 상황 테스트
• 페이블이 앞선 분야: 속까지 돌아가는 게임, 최적화, 코드 구조, 숨은 버그 찾기, 기존 코드 규칙 따르기

그러니 따져 볼 건 "이 일은 누구에게 맡기냐"예요.

결과가 갈린 이유는 말수, 캐시, 묻는 버릇

페이블은 말이 많은데도 긴 세션에서는 오히려 싸지고, 아스트라는 범위가 분명한 짧은 문제에 강해요.

가장 큰 차이는 말수예요. 독립 평가 기관 아티피셜 애널리시스가 같은 시험을 돌렸더니 페이블은 출력 토큰을 1억9000만 개, 아스트라는 약 6000만 개 썼어요. 설계를 나누고 요청 밖 문제까지 손대는 페이블의 성격이 토큰 수에 그대로 찍힌 셈이에요. 구조 점수와 게임 완성도가 높았던 것도, 판마다 비싸고 느렸던 것도 여기서 나와요.

오래 이어지는 세션에서는 계산이 뒤집히기도 해요. 페이블은 이미 읽은 내용을 다시 읽는 캐시 요금이 싸요. 깃허브 코파일럿에서 같은 설정으로 두 모델을 쓴 사람은 요청 하나에 페이블이 0.19달러, 아스트라가 1.2달러 들었다고 적었어요. 아스트라는 입력이 272,000 토큰을 넘으면 요청 전체에 입력 2배, 출력 1.5배 요금이 붙어요. 긴 대화를 끌고 갈수록 비싸지는 셈이에요.

같은 글에서 추천 36개를 받은 댓글도 비슷하게 봤어요. 아스트라가 "경계가 분명한 짧고 복잡한 문제"에는 뛰어나지만 맥락이 늘고 작업이 길어지면 덜 똑똑해진다는 거예요. 몇 주 묵은 버그에서는 헤매고 새 게임은 빨리 띄운 앞의 사례와도 들어맞아요.

묻는 버릇도 달라요. 오픈AI는 아스트라가 "해 줄 수 있어?" 같은 말도 작업 지시로 받아들이게 하고, 승인은 검토할 결과물을 먼저 만든 뒤에 요청하게 하라고 안내해요. 앤트로픽은 반대예요. 페이블이 근처 코드까지 고치거나 요청에 없는 기능을 넓히지 않도록 작업에서 뺄 범위를 분명히 적으라고 해요.

개발팀에 배치한다면

설계와 리뷰는 페이블, 시제품과 화면은 아스트라에게 맡기고 막히면 서로에게 두 번째 의견을 구해요.

다섯 판 결과를 개발팀 업무에 대 보면 이렇게 나뉘어요.

• 페이블에게: 기존 코드베이스에 큰 기능 붙이기, 설계와 작업 계획 짜기, 코드 리뷰에서 문제 찾기, 맡겨 두고 기다려도 되는 긴 작업
• 아스트라에게: 빨리 돌려 볼 시제품, 화면과 3D처럼 눈에 보이는 작업, 테스트 통과를 위한 수정, 다른 모델이 못 푼 버그에 대한 두 번째 의견
• 같이 쓴다면: 한쪽이 만들고 다른 쪽이 검토하게 하고, 최종 결정권은 한 모델에게 둬요

지시문도 모델 성격에 맞춰 쓰면 좋아요. 아스트라에게는 결과물을 먼저 만든 뒤 확인을 요청하라고 적어 주세요. 페이블에게는 이번 작업에서 건드리지 말 범위를 알려 주고요.

한도도 조심해야 해요. 아스트라에게 5,000줄짜리 변경 사항을 리뷰시켰다는 댓글 작성자는 월 20달러 요금제의 5시간 한도를 20분 만에 다 썼대요. 리뷰는 끝내지도 못했고요. 큰 리뷰를 맡기기 전에는 요금제 한도부터 확인하세요.

요금제별로 아스트라를 어디서 얼마나 쓸 수 있는지, 코덱스 사용량이 어떻게 닳는지는 챗GPT 아스트라 요금제별 사용법과 메시지 한도에서 볼 수 있어요.

함께 읽기챗GPT 아스트라, 요금제별 사용법과 메시지 한도NEWS · 2026.09.15→

자주 묻는 질문