Post #3555

오라클 Q3 2026 어닝콜 Q&A 세션 중: 추론의 진짜 병목은 하드웨어 아키텍처(가속기)'의 처리 속도 질문 (마크 머피, JPMorgan):"오라클은 현재 텍사스나 와이오밍처럼 전력 수급이 용이한 곳에 거대한 중앙 집중형 데이터 센터를 두고 있습니다. 하지만 비즈니스가 AI 훈련에서 추론(Inference) 단계로 넘어가면, 사용자 및 기기와의 '지연 시간(Latency)'이 핵심이 될 텐데, 인구 밀집 지역이나 주요 통신 경로 근처로 데이터 센터를 분산 배치할 계획이 있습니까?" 답변 (클레이 마구워크, OCI 총괄 사장):"추론 수요가 모든 곳에서 급증하고 있다는 점은 동의합니다. 하지만 지연 시간 문제는 상대적인 관점에서 이해해야 합니다.모델의 '생각 시간'이 우선: 주식 시장의 초단타 매매처럼 100분의 1초를 다투는 분야라면 거리가 중요하겠지요. 하지만 일반적인 AI 비즈니스 답변은 모델이 결과를 생성하는 데만 수초가 걸립니다. 이 '생각하는 시간'에 비하면 뉴욕에서 와이오밍까지 데이터를 주고받는 40밀리초($40ms$) 정도의 추가 지연 시간은 사용자에게 거의 영향을 주지 않습니다. 진짜 병목은 '하드웨어':현재 추론 성능을 가로막는 병목 현상은 물리적 '거리'가 아니라 '하드웨어 아키텍처(가속기)'의 처리 속도에 있습니다. 데이터 센터를 옮기는 것보다 엔비디아(NVIDIA)나 그록(Groq) 같은 기업들이 만드는 최신 가속기를 통해 추론 속도 자체를 줄이는 것이 훨씬 효과적입니다.