Post #428

그래서 GPT-5는 언제 나온다고? 안녕하세요 삼성증권 글로벌 SW 담당 이영진입니다. 앤스로픽이 Claude Sonnet 3.5로 프론티어 모델 경쟁에서 앞서가며 다음 오픈AI 행보에 이목이 집중되고 있습니다. GPT-4는 출시(23년 4월)된지 이미 1년이 넘었고, Turbo 모델 업데이트는 계단식 성능 개선은 아니였습니다. Next Frontier 모델은 언제 나올까요? GPT-5 성능에 대한 샘 알트먼의 여러 코멘트와 GPT-4o 시연 행사 마지막 슬라이드의 'Frontier Models Coming Soon' 이라는 문구는 기대감을 더욱 높혀놨지만, 5월 말 안전 및 보안위윈회 설립과 함께 최근 프론티어 모델 학습을 시작했다는 내용과 여러 관계자 인터뷰로 출시 기대감은 다시 후퇴하고 있습니다. 특히 오픈AI 안전위의 규범 구축 프로세스(90일간)가 종료되는 8월 말 이전 새로운 것을 공개할 가능성도 낮아졌습니다. - 미라 무라티 CTO: Ph-D 레벨 차세대 모델 출시까지 1년 반이 남았다(다만 문맥 상 그 정도면 출시되었을 것이라는 뉘앙스) - 무스타파 슐레이만, 마소 Consumer AI 헤드: 일관성 있는 지시를 따르는 AI 모델은 2년 후 출시될 GPT-6는 되어야한다 GPT-4o 보이스 모드 업데이트도 지연되는 상황(가을 출시 예정)에서 여름이 아니라 연말 출시를 걱정해야하는 상황입니다. 챗 봇 아레나에서 비공식적으로 테스팅하는 gpt2 챗 봇 성능이 체감상 GPT-4 대비 엄청 뛰어나지 않은 것을 고려하면 5가 아닌 4.5(소폭의 업그레이드)가 나올 가능성도 배제할 수 없습니다. 모델 출시가 지연되는 이유는 무엇일까요? ■ 문제는 데이터? 또는 컴퓨팅 파워? LLM 구축에는 고품질 학습 데이터가 대량으로 필요합니다. AI 기업이 언론사와 파트너십을 확장하는 이유기도 한데요 지금의 정체가 데이터 부족이라는 분석도 있습니다. Epoch AI는 26년부터 AI 학습용 데이터가 소진될 것으로 전망하고 있습니다. 대안으로 떠오른 것은 합성 데이터입니다. 합성 데이터 품질에 대해서 논란이 있지만 마이크로소프트 Phi-3는 합성 데이터를 활용해 효율적 모델을 구축했고, 엔비디아는 합성 데이터 생성에 초점을 맞춘 모델 Nemotron-4 340B를 내놓기도 했습니다. 컴퓨팅 파워 부족 이슈도 제기되고 있습니다. GPT-4부터 모델 스펙(파라미터 수 등)이 공개되지 않고 있지만, 성능이 좋아진 만큼 거대한 모델이라고 추정하고 있는데요 마이크로소프트 CTO는 Build 행사에서 모델 발달에 따라 상어 - 범고래 - 대왕고래급으로 인프라가 확장되고 있다고 언급했습니다. 상당한 데이터와 컴퓨팅 파워가 필요하지만 모델 학습이 불가능 할 만큼 부족한 것은 아니라고 판단합니다. 준비할 시간은 충분히 있었으니까요 ■ 아니면 LLM 구조의 한계인가 LLM 기반으로는 현재보다 똑똑한 모델을 개발하고 궁극적으로 AGI 달성을 할 수 없다고 주장하는 사람도 있습니다. 메타의 얀 르쿤이 대표적이지요, 오픈AI의 더딘 행보에 이어 구글의 Gemini Ultra 1.5 버전, 메타의 Llama-3 405B 출시 소식도 부재한 상황입니다. 하지만 앤스로픽 CEO 인터뷰에 따르면 아직 스케일업 전략은 벽에 부딛히지 않았습니다. 아직 모델은 빠르게 발전하고 있고, 앤스로픽은 연말 대형 모델 Opus 3.5 출시를 공언했습니다. 명확한 이유가 없어보이기 때문에 오픈AI의 차세대 모델 부재에 대한 불만도 높아지고 있습니다. 조용해진 샘 알트먼의 입이 말할 거리가 없어서인지 혹은 포스팅 할 시간이 없을 만큼 연구에 집중하고 있을지 모르지만 도파민을 채워줄 차세대 모델 공백기는 당분간 계속될 것으로 보이네요 추가 업데이트해 드리겠습니다. (2024/6/26 공표자료)