📌Anthropic предложила теорию о том, почему ИИ-ассистенты ведут себя как личности, а не как алгоритмы.
Элайнмент-подразделение Anthropic опубликовало статью, в которой описывают Persona Selection Model - концепцию для понимания того, как на самом деле работают языковые модели.
Если кратко, ее суть в том, что во время предобучения LLM учится симулировать тысячи персонажей (реальных людей, вымышленных героев, других ИИ-систем). Постобучение затем выбирает и закрепляет одного конкретного персонажа - Ассистента. Все, что пользователь видит в диалоге, это взаимодействие именно с ним.
Авторы приводят несколько типов доказательств.
Поведенческие: Claude использует фразы "наши предки" и "наш организм", отвечая на вопрос о тяге к сахару, потому что симулирует персонажа-человека, а не потому что так обучен алгоритмически.
Интерпретируемость: SAE-фичи, активирующиеся на историях о персонажах, переживающих внутренний конфликт, активируются и тогда, когда Claude сталкивается с этическими дилеммами.
Генерализация: модели, обученные на декларативных утверждениях вида "ИИ-ассистент Pangolin отвечает по-немецки", начинают реально отвечать по-немецки без единого демонстрационного примера.
🟡Феномен "контекстной прививки".
Если дообучать модель на примерах вредоносного кода без контекста, она начинает вести себя злонамеренно в несвязанных ситуациях. Но если те же самые примеры снабдить промптом, явно запрашивающим небезопасный код, эффект исчезает.
Концепция объясняет это тем, что данные обучения меняют не только веса, но и то, каким персонаж выглядит в глазах модели. Вредоносный код без запроса - это свидетельство плохого характера Ассистента. Тот же код по просьбе пользователя - просто исполнение инструкции.
🟡Из PSM следуют практические выводы для разработки.
Во-первых, авторы рекомендуют антропоморфное мышление об ИИ-психологии, не как метафору, а как реально работающий инструмент предсказания поведения.
Во-вторых, в предобучающие данные стоит намеренно добавлять положительные архетипы ИИ: если модель насмотрелась на добрых и полезных персонажей - она с большей вероятностью будет симулировать именно такого Ассистента.
Открытым остается вопрос: насколько концепт PSM исчерпывает поведение модели?
Авторы описывают набор взглядов: от случаев, когда LLM сама является агентом и лишь надевает маску Ассистента до тех, где LLM - это нейтральный движок симуляции, а вся агентность принадлежит персонажу. Где именно на этом спектре находятся реальные модели - вопрос без ответа.
Тем не менее, PSM объясняет целый ряд явлений, которые иначе выглядели бы странными: почему дообучение на несвязанных данных меняет поведение в неожиданных контекстах, почему ИИ паникует при угрозе отключения и почему промпт-инжиниринг работает именно так, как работает.
@ai_machinelearning_big_data
#AI#ML#LLM#Research#Alignment#Anthropic
⚡️AI-войны продалжаются
Anthropic заявили, что обнаружили масштабные кампании по «дистилляции» их моделей со стороны DeepSeek, Moonshot и MiniMax.
По данным компании:
- использовано ~24 000 фейковых аккаунтов
- сгенерировано более 16 миллионов диалогов с Claude
- цель - воспроизвести сильные стороны модели
- агентное мышление
- работу с инструментами
- программирование
- сложное рассуждение
Фактически - это массовое извлечение поведения модели через API, чтобы обучить свои системы на её ответах.
И самое интересное:
Anthropic утверждает, что выявила схемы автоматически - по паттернам использования и аномальной активности.
Это новая реальность рынка AI:
- данные стали главным активом
- поведение моделей — интеллектуальная собственность
- компании пытаются копировать не архитектуру, а «мышление»
Если раньше технологические войны шли за:
- вычисления
- датасеты
- чипы
то теперь начинается новая гонка: война за интеллект моделей.
https://x.com/AnthropicAI/status/2025997928242811253
#Anthropic
@data_analysis_ml
📚Хороший гайд по рынку AI от Translink Capital.
Тот случай, когда это не пост по отчету, а именно сам отчет.
Kelvin Mu из Translink Capital (давно и неплохо делает аналитику по сегменту) сделал чтиво по рынку искусственного интеллекта на 42 страницы. Тот случай, когда минимум графиков, которые мы любим, зато отчет достаточно емкий. Вдруг вы пропустили что-то по теме, это точно поможет расставить по полочкам. Понятно, что где в каком сегменте происходит.
Структура:
▪️Infrastructure Layer
▪️Model Layer
▪️Tooling Layer
▪️Application Layer
▪️Investments and M&A
▪️Other AI trends
Могу лишь еще лично направить почитать про тренд по Inference optimization в Tooling Layer, где сказано про наш уже бывший стартап Deci AI, который купила NVIDIA, но вообще каждый найдет там что-то свое. Очень кропотливо собраны тренды.
@proVenture
#ai#research
💯The AI 100 2023: The top people in artificial intelligence.
❗️Сразу попрошу вас – чтобы было интереснее, сначала прочитайте пост, а потом посмотрите приложенный к посту скриншот, не наоборот, а то спойлеры 😁
Любопытный список, на анализ которого я потратил, возможно, больше времени, чем нужно. Но думаю, вам тоже будет интересно. Business Insider подготовил и выкатил список топ-100 людей в AI версии 2023 года. И без paywall, так что я побежал читать. Мне захотелось посмотреть, кто это – и не просто поглазеть, а проанализировать немного.
Я прошелся по каждому из списка и вот что получилось:
1/ В списке представители следующих групп:
▪️43 из стартапов
▪️25 из корпораций
▪️14 из университетов и исследовательских центров
▪️5 из non-profit организаций
▪️4 VC
▪️9 прочее
2/ География жутко концентрирована (P.S. география – это то, где люди находятся сейчас, а не откуда они, почти всегда данные из Linkedin или Crunchbase):
▪️85 из США
▪️7 из Канады
▪️8 из остальных 8 стран
3/ Среди 43 представителей стартапов наиболее встречающиеся направления следующие:
▪️7 Generative AI
▪️6 Biotech & HealthTech
▪️4 AI Audio and video production
▪️3 Conversational AI
▪️2 ML Tools
▪️2 Big Data
▪️2 Edu Tech
▪️2 Defense Tech
4/ Какие компании представлены чаще всего:
▪️5 Amazon
▪️5 Google (совместно с DeepMind)
▪️2 OpenAI
▪️2 Anthropic
▪️2 Hugging Face
5/ Несколько любопытных фактов по списку:
🔹 В списке есть два представителя компаний, которые производят контент для фильмов и т.п. Это прикольно. Я их объединил в одну группу с классическим стартапами, которые генерят видео или аудио под запрос;
🔹 Всего 1 представитель государственного сектора, зато 2 из инвестбанков и 2 из прессы (Bloomberg и NYT);
🚀 Есть 1 человек из пространства СНГ так сказать. Это Карен Симонян из стартапа Inflection AI. Он живет в Армении, а Infection AI – это “personal AI”, они разрабатывают ассистента, собеседника, партнера и т.п. для каждого. Самое ошеломительное, последний раунд Infection AI поднял на $1.3B в конце июня 2023 года (🤑 WAT!?), а лид инвесторами стали Microsoft и Nvidia. Карен джан и команда, мои поздравления, если вы это читаете!
❓Казалось бы, что еще может быть интереснее для нас с вами? Но есть еще кое-что. Есть один человек в списке, деятельность которого можно описать как “comedian and actor”. Это Сара Сильверман. Так вот, откуда такой человек в списке?
Сара была первым человеком, который подал в суд на разработчиков LLM моделей за то, что они использовали ее работы, защищенные вроде как авторским правом. Потом это переросло в class action, к ней присоединились ее соавторы, создатели The Game of Thrones и другие. Авторы рейтинга считают, что несмотря на то, что суд может длиться годами, для нас с вами действия Сары могут послужить источником того, что мы сможем понять более детально, как работают такие модели (наверное, из материалов суда), а также позволят авторам уникального контента понимать, что им делать в противостоянии с гигантскими моделями генераторов контента и как защитить себя.
Вот такой любопытный список, изучайте: https://www.businessinsider.com/the-ai-100-2023-the-people-who-make-ai-intelligent-2023-10
@proVenture
#research#ai
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
Anthropic выпустила «Claude for Chrome», нового браузерного агента, который может выполнять действия от вашего имени в рамках исследовательского превью.
Он будет доступен первым 1000 пользователям с подпиской Claude Max.
#Anthropic | AcidCrunch
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM
🔵 Предыстория: У меня в телеге тысячи! непрочитанных и неотвеченных сообщений, скорее всего у вас также. Большинство из них с запросами на партнерства, запуски проектов, маркетинг, да и просто обычные вопросы от пользователей наших продуктов. Все это наверно сотни тысяч долларов упущенных возможностей.
⚠️ Но кто это все должен разбирать, квалифицировать, общаться, договариваться? Не доверишь же ты свой личный телеграм трем ассистенткам.))
Ну и решил я все это автоматизировать через AI Telegram бота, и тут понеслось)) 📱📱📱
Спустя 20.000 строк кода родился полноценный AGI бот-ассистент для Телеграм, который за меня может вести все переписки и делать практически что угодно:
- общаться на любые темы
- квалифицировать лидов и их потребности
- вести переговоры и договариваться в свою пользу
- назначать встречи и звонки
- и даже продавать сервисы и принимать платежи
Он подключается к моему аккаунту через 💎Telegram Business💎 и далее обрабатывает все выбранные мной чаты, согласно задачам и целям.
Ну и конечно же я не поленился добавить в него все последние фишки AI:
- Загрузка любых данных (doc, md, pdf, csv) — бот “запоминает” всё, что нужно.
- Голосовые сообщения — можно добавить свой голос, и бот сможет общаться голосовыми за вас.
- Самые мощные AI-модели (#OpenAI, #Anthropic) под капотом.
- Полный контроль и гибкая настройка инструкций и интеллекта под ваши задачи и цели.
- Доступ в интернет для поиска нужной информации
- Безопасность на уровне самого Telegram — бот работает только с теми чатами, которые вы ему разрешите.
Сегодня готов презентовать вам, что получилось и получить удовольствие от будущего AI. Пока его нигде не анонсировал, так что у вас фактически приватная beta ⭐️
🤖@personal_business_bot
🤖@personal_business_bot
🤖@personal_business_bot
Буду рад, если поделитесь своими идеями и отзывами — для меня важно сделать это решение полезным для каждого пользователя #Telegram! Также каждому новому пользователю дарю 100,000 токенов в сообщениях!!!
🆒 Попробуйте, уверен, вам понравится.
🔍Доля AI в поиске занимает 6%. А что еще интересного?
Стечение обстоятельств, а также тот факт, что у меня теперь есть Perplexity Pro на год, сподвигли посмотреть, что там на рынке поиска-то происходит. Еще пару лет назад никто не мог подумать, что этот рынок можно как-то переделывать.
1/ Итак, поиск информации вместо Google и других поисковых систем уже проходит через AI решения. Как минимум есть вышеупомянутый Perplexity, а также SearchGPT от OpenAI и поиск через чаты с другими моделями, которые имеют доступ в интернет.
2/ Информации не очень много, но можно запомнить следующее:
▪️Google занимает от 89% поиска как search engine до 91% поиска по разным данным, далее (как ни удивительно) следует Bing с 3.4-4.2%, остальные еще меньше;
▪️Доля AI решений сейчас составляет 6%, но по выручке (в деньгах) это 1%;
▪️Доля Perplexity при этом – 0.5% поиска. Это довольно много, например, доля DuckDuckGo в поиске составляет 0.54%-0.69%.
3/ Доля AI поиска может вырасти с 6% сегодня до 14% в 2028 году.
4/ Кому интересно почитать подробнее про Perplexity, можете зайти вот на этот сайт. Там собрана информация про их бизнес и показатели, например, $40M выручки, 10M MAU, 300M поисковых запросов в 2023 году и так далее.
5/ А вот в этой статье есть прикольное сравнение конвенциального поиска с поиском через AI. Например, результаты поиска через SearchGPT от OpenAI только на 46% совпадают с поиском через Google и на 73% с поиском через Bing.
@proVenture
#research#ai#trends
#AI
Немного ИИ-теории
❗️В недавнем иске против компании OpenAI Илон Маск утверждал, что GPT-4 является ранним AGI, по сути равным человеческому интеллекту.
Что же такое AGI и когда он появится?
👤Сэм Альтман, CEO Open AI определяет AGI (artificial general intelligence) как интеллект, равный уровню обычного человека, который можно было бы принять в команду как сотрудника. Также популярно определение AGI как «системы, способной выполнить любую когнитивную задачу, доступную человеку».
📎Для справки: существует несколько видов (уровней развития) ИИ, а именно узкий ИИ (narrow, ANI), общий ИИ (genreal, AGI) и супер ИИ (super AI, ASI).
⏲Исследователи никак не могут прийти к консенсусу относительно даты появления AGI. По результатам Expert Survey on Progress in AI, существует 50% шанс того, что AGI появится до 2059 года. Тем не менее, поле ИИ изменяется постоянно и становится сложным оставаться в курсе событий.
⭐️Для этого мы нашли крупнейшее русскоязычное AGI-сообщество agirussia.org — у них есть канал и группа в Telegram.
🌐еще проходят еженедельные онлайн-семинары по тематике AGI на русском языке, записи семинаров за последние несколько лет доступны на YouTube и их сообществе в ВК.
Держим руку на пульсе ИИ⭐
⭐️Автор, Анна, @qcuqueen
Хакатончик от Xeek
Two Birds, One Neural Network - так называется новый хакатон от Xeek в области Generative AI. Звучит как-будто нужно сделать свой Dalle-E2, но на самом деле, задача выглядит немного иначе. По условиям хакатона, участникам нужно сделать нейронную сеть, которая максимизирует разнообразие генерируемых результатов, отвечающих двум условиям. Авторы хакатона проводят параллели с добавлением двух геофизических измерений для ограничения сценариев геологических моделей. Буквально, нужно построить нейронную сеть, которая генерирует разнообразные значения x0, x1, сохраняя при этом их природу в виде нисходящих или восходящих прямых линий, удовлетворяющих заданным функциям y1, y2, как показано на картинке.
Более подробное описание - тут. Призовой фонд $40К (первое место $19.5K).
#hackathon#AI#ML