WebCraftBench — 실제 요청 369개로 만든 AI 앱 벤치마크 (2026)
아레나(Arena.ai)는 텐센트 훈위안 팀이 만든 새 벤치마크 WebCraftBench를 소개했습니다. 코드 아레나에 들어온 실제 요청 369개로 만든 벤치마크로, AI가 만든 앱이 사람의 요청을 얼마나 잘 채우는지 시험합니다.
실제 사용자의 요청은 깔끔한 명세서 형태로 오지 않습니다. 이 벤치마크는 그런 거친 요청을 그대로 담았다는 점에서 눈여겨볼 만합니다.
이번 소식
WebCraftBench의 요청에는 비공식적인 말투, 불완전한 지시, 서로 다른 프로젝트 규모와 취향이 섞여 있습니다. 평가는 AI가 만든 앱이 어떻게 보이고, 실제로 작동하며, 요청을 얼마나 충족하는지를 봅니다.
17개 모델로 매긴 순위는 코드 아레나 리더보드 순위와 상관계수 0.89로 강하게 겹쳤습니다. 사용자 투표로 만든 순위와 자동 평가 순위가 거의 같은 방향을 가리킨 셈입니다.
왜 주목할 만한가
AI가 “사이트가 완성됐다”고 답했는데 실제로는 오류가 나거나 버튼이 겹치는 일은 흔합니다. 정답이 정해진 시험 문제보다 실제 요청에서 모델 사이의 차이가 더 분명하게 드러납니다.
AI 코딩 도구가 기업의 실제 업무에 쓰일수록 이런 현실형 평가의 중요성도 커집니다. 성능 점수가 실제 사용 경험과 얼마나 맞는지가 모델 선택의 기준이 되고 있습니다.
방향 신호로 보기
예측 모델도 결과를 실제 흐름과 계속 맞춰 봐야 믿을 수 있습니다. 2026년 9월 23일 기준 S&P500의 20일 뒤 방향 점수는 31점으로, 중립 50점보다 낮아 하락 쪽으로 기울어 있습니다.
최근 확률 추이 차트에서 예측 상승확률은 15%에서 82% 사이를 오갔습니다. 점수가 50에서 멀어질수록 신호가 한쪽으로 강하게 쏠려 있다는 뜻입니다.
화면에서 확인하는 법
Passive 방향 신호 화면은 S&P500의 5일·20일·60일 뒤 방향 점수를 0~100점으로 보여 줍니다. 50보다 높으면 상승, 낮으면 하락 신호가 우세하다는 뜻입니다.
아래의 확률 추이와 1년 추이 차트에서는 과거 예측(실선)과 앞으로의 예측(점선)을 실제 주가와 함께 비교할 수 있습니다.
본 글은 투자자문이 아니며 특정 종목의 매수·매도를 권유하지 않습니다. 투자 판단과 책임은 본인에게 있습니다.