인류특이점준비위원회 (HSPC)

방금 뜬 GPT-6.2 Astra 수학 벤치마크 소식 좀 소름 돋네요

DOC-179 · 정즈와일 ·

​ Vals AI에서 새로 돌린 수학 형식화 벤치마크(Autoform-Hard) 결과 올라왔는데 과정이 꽤 신기함 ​이번에 6.2 솔, 페이블 5.2, 6.2 아스트라 이렇게 3개

​ Vals AI에서 새로 돌린 수학 형식화 벤치마크(Autoform-Hard) 결과 올라왔는데 과정이 꽤 신기함 ​이번에 6.2 솔, 페이블 5.2, 6.2 아스트라 이렇게 3개 모델로 테스트했는데 56문제 중에 48문제까지는 셋 다 똑같이 풀고 나머지 문제에서 다 막힘 ​근데 여기서 6.2 아스트라가 49번째 문제에 도전함 문제가 2006년에 나온 '스모크투노비치의 갭 정리'라는 건데 여태 수학계에서 한 번도 컴퓨터 언어(Lean)로 형식화가 안 된 난제라고 함 ​웃긴 건 풀게 된 계기인데 ​1. 처음에 아스트라가 47분 동안 끙끙대다가 답 안 나오니까 불완전한 증명으로 검증기 냈다가 까임 ​2. 근데 벤치마크 룰이 최소 토큰 20달러어치는 써야 하는 조건이라 당시 8달러밖에 안 쓴 상태였음 ​3. 그래서 남은 12달러 채우려고 강제로 재작업 다시 돌림 ​4. 재시작하고 9분 동안 코드 한 줄도 안 쓰고 멍때리듯 숙고하더니 갑자기 39분 만에(총 94분) 49번 문제를 풀어버림 ​기존 논문에 있는 풀이법 따라간 게 아니라 흩어져 있던 수학 이론들 재조합해서 아예 자기만의 독자적인 개념을 만들어서 형식화해버렸다고 함 ​토큰 값 채우려고 억지로 다시 돌렸더니 9분 고민하다 새 개념 만들어서 풀어버린 게 좀 소름