Post #9387

🌟Google обновила MedGemma до версии 1.5. Медицинский ИИ продолжает хайповать - Google выкатили MedGemma 1.5 и спецмодель для голоса MedASR. Прорыв релиза - в переходе от анализа плоских картинок к полноценным объемным данным. Раньше мультимодальные модели смотрели на рентген как на обычный джипег. Версия 1.5 научилась работать с объемными данными. Вы скармливаете ей пачку КТ, МРТ или гистологических патчей, и она анализирует их в совокупности, а не по отдельности. Это важно, так как патология может быть видна только в динамике срезов. 🟡MedASR (Speech-to-Text) Google поняла, что врачи ненавидят печатать, а те распознавалки голоса, которые есть, ломаются об медицинскую терминологию. В ответ на эту проблему они дотюнили модель специально под диктовку диагнозов и анамнеза. 🟡Локализация и RAG Модель стала лучше понимать контекст электронных медкарт и указывать конкретные зоны патологии на снимках. По заверению Google, их внутренние тесты показали рост точности классификации на МРТ 14%, а понимание текстов из электронных карт подскочило с 68% до 90%. MedASR разнес Whisper large-v3: гугловская модель допускает на 58-82% меньше ошибок при диктовке рентгеновских заключений. Whisper просто не вывозит спецлексику. Важно понимать, что это базовая модель на 4 млрд. параметров. Она оптимизирована, чтобы крутиться локально и ожидать от такой малютки глубочайшего ризонинга уровня GPT-4 не стоит. 65% на МРТ для реальной клиники это все еще мало. Google, кстати, так и говорит: "дообучайте на своих данных". Лицензия с приколом: модель открыта для коммерции, но по лицензии Health AI Developer Foundations. Если вы решите использовать ее для прямой диагностики или лечения пациентов, вам придется сначала сертифицировать свой софт как медицинское устройство у местных регуляторов. Google заранее снимает с себя любую ответственность за галлюцинации модели. Вобщем, этим обновлением Google дает отличную болванку для медтех-стартапов и ресёрча. Кстати, на Kaggle запустили хакатон с призовым фондом $100K под это дело. @ai_machinelearning_big_data #news#ai#ml