🌟Amazon встроила векторную базу данных прямо в хранилище S3.
Amazon анонсировала S3 Vectors - нативную поддержку векторного поиска прямо внутри своего вездесущего объектного хранилища. Заявлено, что это может снизить затраты на хранение и обработку векторов до 90%.
По сути, AWS предлагает не отдельный сервис, а новый тип бакета vector bucket. Внутри него вы создаете векторные индексы, указывая размерность векторов и метрику расстояния (косинусную или евклидову).
🟡Дальше все работает как магия
Вы просто загружаете в индекс свои эмбеддинги вместе с метаданными для фильтрации, а S3 берет на себя всю грязную работу по хранению, автоматической оптимизации и обеспечению субсекундного ответа на запросы. Никакого управления инфраструктурой.
Один бакет может содержать до 10 тысяч индексов, а каждый индекс, в свою очередь, десятки миллионов векторов.
🟡Главная сила этого решения - в экосистеме.
S3 Vectors бесшовно интегрируется с Bedrock Knowledge Bases. Теперь при создании базы знаний для RAG-приложения можно просто указать S3-бакет в качестве векторного хранилища.
Процесс создания RAG-пайплайна для тех, кто уже живет в облаке AWS, упрощается до нескольких кликов. То же самое касается и SageMaker Unified Studio, где эта интеграция тоже доступна из коробки.
🟡"One more thing" анонса - умная интеграция с сервисом OpenSearch.
AWS предлагает гибкую, многоуровневую стратегию. Нечасто используемые или «холодные» векторы можно экономично хранить в S3 Vectors. А когда для части данных потребуется максимальная производительность и низкая задержка в реальном времени, например, для системы рекомендаций, их можно быстро экспортировать в OpenSearch.
Это очень прагматичный инженерный подход, позволяющий балансировать между стоимостью и производительностью.
Пока сервис находится в статусе превью и доступен в регионах US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Frankfurt), and Asia Pacific (Sydney) Regions.
Попробовать S3 Vectors можно в Amazon S3 console.
🟡Статья
🖥Github
@ai_machinelearning_big_data
#AI#ML#RAG#Amazon
🌟Amazon встроила векторную базу данных прямо в хранилище S3.
Amazon анонсировала S3 Vectors - нативную поддержку векторного поиска прямо внутри своего вездесущего объектного хранилища. Заявлено, что это может снизить затраты на хранение и обработку векторов до 90%.
По сути, AWS предлагает не отдельный сервис, а новый тип бакета vector bucket. Внутри него вы создаете векторные индексы, указывая размерность векторов и метрику расстояния (косинусную или евклидову).
🟡Дальше все работает как магия
Вы просто загружаете в индекс свои эмбеддинги вместе с метаданными для фильтрации, а S3 берет на себя всю грязную работу по хранению, автоматической оптимизации и обеспечению субсекундного ответа на запросы. Никакого управления инфраструктурой.
Один бакет может содержать до 10 тысяч индексов, а каждый индекс, в свою очередь, десятки миллионов векторов.
🟡Главная сила этого решения - в экосистеме.
S3 Vectors бесшовно интегрируется с Bedrock Knowledge Bases. Теперь при создании базы знаний для RAG-приложения можно просто указать S3-бакет в качестве векторного хранилища.
Процесс создания RAG-пайплайна для тех, кто уже живет в облаке AWS, упрощается до нескольких кликов. То же самое касается и SageMaker Unified Studio, где эта интеграция тоже доступна из коробки.
🟡"One more thing" анонса - умная интеграция с сервисом OpenSearch.
AWS предлагает гибкую, многоуровневую стратегию. Нечасто используемые или «холодные» векторы можно экономично хранить в S3 Vectors. А когда для части данных потребуется максимальная производительность и низкая задержка в реальном времени, например, для системы рекомендаций, их можно быстро экспортировать в OpenSearch.
Это очень прагматичный инженерный подход, позволяющий балансировать между стоимостью и производительностью.
Пока сервис находится в статусе превью и доступен в регионах US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Frankfurt), and Asia Pacific (Sydney) Regions.
Попробовать S3 Vectors можно в Amazon S3 console.
🟡Статья
🖥Github
@ai_machinelearning_big_data
#AI#ML#RAG#Amazon
🔥Интересный кейс про ML в картографии
В статье рассказано про развитие детектора Яндекс Карт для распознавания дорожных знаков на панорамах — от бинарного классификатора до нейросетей. Сейчас детектор умеет находить почти все знаки в России. Первая же версия создавалась в 2016 году с помощью небольшого датасета и модели на классических подходах компьютерного зрения. Использовали ACFFeatures + WaldBoost с бинарными решающими деревьями.
Классические методы страдали «близорукостью» — детектили знаки только «в лоб», повороты пропускали, поэтому перешли к новой версии на свёрточных нейросетях и натренировали Faster R-CNN.
Нетривиальные архитектурные решения:
▪️Объединили все знаки ограничения скорости в один класс + дополнительная сеть для распознавания чисел на вырезанном знаке
▪️ То же с направлениями по полосам — детектор находит знак, дополнительная модель выдаёт бинарный вектор направлений
▪️ Создали отдельную модель для обработки найденных знаков многополосности. Полная техническая реализация описана в статье.
🟢Главная проблема — сбор датасета
Как обычно, всё упёрлось в данные для обучения. Терабайты фотографий улиц прогонять через асессоров — дорого и неэффективно. Выстроили такой процесс: сначала автоматически находить фотографии, где есть дорожные знаки, и только потом отправлять их на разметку асессорам.
🟢Финальные цифры:
▪️ 300 тысяч фотографий в датасете
▪️ 1,5 миллиона размеченных знаков
▪️200+ поддерживаемых классов знаков
Любопытный факт: самый частый знак в датасете — пешеходный переход.
Практический результат: всё это помогает автоматически обновлять данные в Картах, по которым сервис строит маршруты, выдаёт голосовые подсказки о том, с какой скоростью ехать и тд. В год так вносится более 200 тысяч автообновлений
⚡️Статья:https://habr.com/ru/companies/yandex/articles/946338/
@ai_machinelearning_big_data
#ai#ml
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
Программа по ИИ в Лондоне с полным покрытием расходов 🔥
⚡London AI Safety Research Labs⚡
LASR Labs — программа исследований безопасности ИИ, направленная на снижение рисков, связанных с развитием искусственного интеллекта. Участники работают в командах по 3–4 человека под руководством опытных исполнителей. Предполагается разработка проекта и публикация.
📍Где: очно, Лондон, Великобритания
📅Когда: январь- апрель 2026 г.
👥Для кого
Для соискателей с опытом в инженерии по машинному обучению и с сильными навыками работы с количественными данными. Для тех, у кого нет права на работу в UK организаторы помогают получить визу.
💸Условия
Программа предполагает стипендию £11,000, а также покрывают расходы на питание, перелёт и оказывают визовую поддержку и предоставляют офисное помещение.
⏰Дедлайн: подача заявок до 10 октября 2025 г.
➡️Подробнее
➡️StudyGrants - стажировки| стипендии| летние школы 🌎
#ML#AI
Does AI dream of electric patents?
Google faces a legal problem: lawyers are unsure if they could patent plans created by AI algorithms. The company had filed patents describing a ML technique used to design and map out components in the custom AI accelerator TPU chips.
However, US laws recognize and protect intellectual property created only by "natural persons". Although Google engineers built AI models, after training algorithms generated their products automatically with minimal human effort. Therefore, a legal catch arises: is it permissible to patent the outputs created by these systems?
During the meeting held by US Patent and Trademark Office, Laura Sheridan, senior patent counsel at Google, said that company pursued only patterns on ML models, not the floorplans it had created.
This case remains an important issue for the entire IT industry nevertheless. AI technologies already produce a lot of outcomes that could become valuable intellectual property for a business and entrepreneurs. ML systems can, for example, write a code, hunt for new drugs, and create digital art. That is why application of the patent laws to the AI algorithms’ outcomes should be clarified in the shortest time.
#AI#ML
Researchers at MIT, Stanford University, Intelligence Lab, and the Autodesk AI Lab developed AI that can figure out Lego Instructions
Scientists collaborated to develop a learning-based framework that can travel 2D instructions to build 3D objects. This system called the Manual-to-Executable-Plan Network (MEPNet) was successfully tested on Lego sets and Minecraft-style building plans.
So it will definitely help people who were driven mad with confusing Lego manuals. But the key idea is to integrate neural 2D keypoint detection modules and 2D-3D projection algorithms for high-precision prediction of unseen components.
Interpreting 2D instructions could be tricky for AI. The key problems are identifying correspondence between 2D and 3D objects, and dealing with a lot of basic objects, which could be assembled into complex forms. «It requires inferring 3D poses of unseen components composed of seen primitives," the researchers said.
At first, MEPNet analyses the current state of Lego set and creates 3D model of all components. Then the algorithm predicts a set of 2D keypoints and masks for each component.
Once that's done, the 2D keypoints "are back-projected to 3D by finding possible connections between the base shape and the new components." The combination "maintains the efficiency of learning-based models, and generalizes better to unseen 3D components," the team wrote.
The full paper of MEPNet is available via the link. And the algorithm’s code is also posted on GitHub.
#AI#ML
🛒 Amazon kompaniyasi Nova Reel modelini yangilab, endi 2 daqiqagacha bo‘lgan videolarni yaratish imkoniyatini qo‘shdi
✅ Asosiy o‘zgarishlar:
- Video uzunligi: Endi model 2 daqiqagacha bo‘lgan videolarni generatsiya qila oladi.
- Segmentlar: Har bir video 6 soniyali qismlardan iborat bo‘ladi.
- Multishot Manual rejimi: Bu rejimda foydalanuvchilar matnli so‘rov bilan birga rasm ham yuklab, modelga boshlang‘ich nuqtani ko‘rsatishlari mumkin.
⚠️Cheklovlar:
- Matnli so‘rov hajmi: Rasm bilan ishlaganda, matnli so‘rov 512 belgigacha cheklangan.
- Kadrlar soni: Bunday holatda, video faqat 20 kadrdan iborat bo‘ladi.
🦝 Yangilangan Nova Reel 1.1 modeli AWS platformasi orqali foydalanish uchun mavjud. Amazon, modelni o‘qitishda ishlatilgan videolar manbasini oshkor qilmagan bo‘lsa-da, foydalanuvchilarni mualliflik huquqlari bo‘yicha yuzaga kelishi mumkin bo‘lgan da’volardan himoya qilishini bildirgan.
➡️#amazon#ai | Birinchi raqamli IT-Blog
🙂 RAG — важная аббревиатура современного машинного обучения
🎁 RAG — retrieval-augmented generation или генерация, дополненная поиском, — подход, при котором генерация ответа большой языковой модели (LLM) осуществляется на основе данных, полученных в результате поиска по внешним ресурсам (это могут быть файлы, базы данных, веб-архивы и другие источники).
🧑💻 14 августа в 12:00 (Мск) Яндекс.Cloud приглашает на вебинар, посвящённый сценарию RAG на YDB (СУБД Яндекса) и тому, как реализовать семантический поиск, обогащая ответы LLM-моделей в ИИ-решениях, которые работают с текстовыми массивами знаний.
🔜Регистрация
👩💻 28 августа в 11:00 (Мск) провайдет Cloud.ru (в прошлом SberCloud) приглашает на вебинар о том, как с помощью Evolution Managed RAG избавить AI-агента от галлюцинаций, предоставляя релевантную информацию из ваших документов, как подготовить документы, где их хранить и как правильно настроить обработку данных для улучшения качества ответа LLM без дообучения.
🔜Регистрация
Ещё по теме RAG:
🙂Размышление о пользе RAG для цифровой истории
😉Что такое RAG? — простыми словами рассказывает СБъ
Иллюстрация от fusionbrain.ai по промту «retrieval-augmented generation или генерация, дополненная поиском»
#ии#ai#ml#rag#термины
#python#AI#ML
😉
Essentials of Python for Artificial Intelligence and Machine Learning (2024)
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----
Algoverse AI Research Summer 2025 — это 12-недельная онлайн-программа по исследованиям в области ИИ для учеников старших классов и студентов вузов. Участники работают в небольших группах под руководством опытных исследователей искусственного интеллекта над реальными проектами.
📍Где: онлайн
📅Некоторые сессии программы на лето 2025 года:
🔹21 июня — 14 сентября 2025 года;
🔹12 июля — 5 октября 2025 года.
🗣Язык: английский
👥Для кого
Программа доступна студентам вузов, ученикам старших классов и профессионалам индустрии по всему миру.
💸Условия
Программа платная, но для исключительных абитуриентов, которые не могут оплатить полную стоимость, предусмотрены стипендии.
⏰Дедлайн: 6 июля 2025 г. (в 11:59 по тихоокеанскому времени).
➡️Подробнее
🚀ТГ канал «Возможности для школьников»
#AI#ML#летние_школы
Ex-Amazon AI Exec Sues Over Alleged Copyright Breaches and Pregnancy Discrimination
A high-profile AI scientist is suing Amazon, alleging discrimination, retaliation, and wrongful termination after raising concerns about AI copyright infringement and taking maternity leave.
Dr. Viviane Ghaderi, a former AI researcher at Amazon, filed a lawsuit claiming she was demoted and ultimately fired after highlighting copyright concerns within Amazon's AI research practices.
Ghaderi alleges her complaints regarding copyright infringement were dismissed, with pressure to prioritize results over copyright compliance. She further claims to have faced discriminatory and harassing comments upon returning from maternity leave, impacting her performance reviews and career path.
The lawsuit sheds light on the ongoing debate surrounding copyright and AI training data.
Ghaderi alleges pressure to ignore copyright restrictions, echoing recent legal cases concerning AI training on copyrighted material.
Ethical concerns regarding AI development and potential biases are attracting increasing scrutiny.
This case highlights the complex intersection of cutting-edge technology, copyright law, and employee rights.
#AI#Copyright#Amazon
📌Ян Лекун: индустрия движется в тупик, игнорируя реальный путь к AGI.
Один из пионеров глубокого обучения и лауреат премии Тьюринга Ян Лекун резко критикует вектор развития ИИ.
Покинув пост в империи Марка Цукерберга в ноябре прошлого года, он говорит, что Кремниевая долина стала жертвой стадного чувства.
Исключительный фокус на больших языковых моделях — это тупиковый путь, который не приведет к созданию AGI, несмотря на колоссальные инвестиции.
Лекун утверждает, что индустрия буквально одурманена LLM. Фундаментальная проблема архитектуры трансформеров заключается в отсутствии способности к планированию и пониманию физического мира.
Системы, построенные на них обучаются исключительно на цифровых массивах данных; они могут предсказывать текст, но не понимают причинно-следственных связей реальности и не могут моделировать последствия своих действий.
Масштабирование языковых моделей имеет жесткий предел и не позволит достичь даже уровня человеческого интеллекта, не говоря уже о сверхразуме.
Для реализации своего видения Лекун основал Advanced Machine Intelligence Labs (AMI Labs). Стартап планирует создание систем, способных строить планы и прогнозировать исходы событий - то, чего лишены современные генеративные модели.
Отдельно досталось американским техно-гигантам за секретность. Лекун считает отказ от Open Source катастрофой и стратегической ошибкой.
Пока корпорации в США прячут разработки под замок, пытаясь сохранить лидерство, китайские компании используют открытый код и могут перехватить инициативу за счет скорости и креативности.
@ai_machinelearning_big_data
#news#ai#ml