Намери подобно съдържание

Изходен канал @clockstackwheels · Post #854 · 5.09

Сбер выкатил сегодня свой Гигачат на всех (до этого была только закрытая бета). Немного обидно за ребят — ещё год назад этот релиз был бы очень значимым, но сейчас разговаривать с откровенно косячащим и допускающим детские ошибки Гигачатом совершенно неинтересно, если вы видели, как работает GPT4, в том числе на русском языке. За решением практических задач тоже нет никакого смысла (пока что) ходить в русские сетки Яндекса и Сбера, потому что GPT4 просто делает лучше абсолютно всё. Он реже ошибается, у него лучше с логикой, он отвечает одинаково на одинаковые запросы (у Яндекса с этим очень большие проблемы пока что), более точен в фактах и рассуждениях. Ещё команда Гигачата ведёт очень странный маркетинг: будто бы это телепередача для домохозяек. Начиная от частых унылых инфоповодов в духе "Сегодня день резиновых уточек, спросим у гигачата что он думает про резиновых уточек" и заканчивая восторгами по поводу туповатых ответов нейросетки на попсовые запросы ("Пять отмазок не идти на работу"). Создаётся впечатление полного отсутствия product-market fit — Сбер не понимает, что это за продукт, для какой аудитории он нужен, кто будет готов за него платить и в каких обстоятельствах. Домохозяйки вряд ли будут. Впрочем, Яндекс про свою сетку запостил полторы новости и замолчал, так что я даже не знаю, что хуже. Но зато у Яндекса есть preview API, и мне удалось его погонять. Ожидаемо хуже, чем GPT4. Как я уже сказал, основная проблема в том, что пять одинаковых запросов вернут пять разных ответов, причём даже по размеру разных: объём текста может отличаться в несколько раз. #dev

Hashtags

#dev

Резултати

Намерени 2 подобни публикации

Търсене: #frontiermath

当前筛选 #frontiermath清除筛选

Venture Village Wall 🦄

@venturevillagewall · Post #3607 · 20.12.2024 г., 19:00

Намери подобни Прегледай

o3 & o3-mini Break Benchmark Records The performance of o3 and o3-mini showcases state-of-the-art (SOTA) results across various benchmarks. Key insights include: - Frontier Math scores increased from 2% to 25%. - SWE-Bench achieved 71.7%, a significant leap for a startup that recently raised $200 million with 13.86% earlier this year. - ELO on Codeforces reached 2727, held by only 150 individuals globally. - ARC-AGI model scored 87.5%, breaking a five-year deadlock. - Noteworthy progress on GPQA and AIME benchmarks. Access to o3-mini is currently available to security researchers, while general public access is set for late January. Full access to o3 will follow later. #AI#SOTA#Benchmarks#o3#o3-mini #FrontierMath#SWE-Bench #Codeforces#ELO#ARC-AGI #GPQA#AIME#Funding#Progress#Research#Technology#Innovation

Hashtags

#ai #sota #benchmarks #o3 #frontiermath #swe #codeforces #elo #arc #gpqa #aime #funding #progress #research #technology #innovation

Venture Village Wall 🦄

@venturevillagewall · Post #3606 · 20.12.2024 г., 18:41

Намери подобни Прегледай

O3 and O3-Mini Benchmark Breakthroughs The O3 and O3-Mini models showcase state-of-the-art (SOTA) performance with significant leaps in various benchmarks. Results on Frontier Math have jumped from 2% to 25%. The SWE-Bench model achieved a score of 71.7%, while a startup has raised $200 million following results of 13.86%. ELO on Codeforces reached 2727, surpassing most peers globally. Notably, the ARC-AGI model scored 87.5%, breaking a five-year benchmark. Access for security researchers to O3-Mini starts today, with general access available in late January. #O3#O3Mini#SOTA#Benchmarks#AI#ML#Funding#Codeforces#ARC-AGI #FrontierMath#SWE-Bench #ELO#GPQA#AIME#SecurityResearch#TechUpdates#Innovations#Startups#Performance#AIModels

Hashtags

#o3 #o3mini #sota #benchmarks #ai #ml #funding #codeforces #arc #frontiermath #swe #elo #gpqa #aime #securityresearch #techupdates #innovations #startups #performance #aimodels