📌Массовое использование чат-ботов унифицирует то, как люди пишут и рассуждают
Университет Южной Калифорнии опубликовал в журнале Trends in Cognitive Sciences статью, в которой утверждают, что массовое использование больших языковых моделей постепенно размывает индивидуальные различия в речи, письме и мышлении.
Авторский коллектив возглавляет профессор психологии и информатики Мортеза Дехгани.
Научные интересы Дехгани лежат на стыке психологии, когнитивной науки и искусственного интеллекта: он известен работами по вычислительному анализу морального и политического языка, применению методов NLP к большим текстовым корпусам (от социальных сетей до литературы) и изучению того, как ценности и групповая мораль проявляются в речи.
По мнению исследователей, когда миллионы людей обращаются к узкому кругу одних и тех же чат-ботов, стилистические, смысловые и логические особенности отдельных людей стираются, а на выходе получается «стандартизированное выражение мыслей».
Этот процесс вызывает беспокойство: модели не просто влияют на манеру письма, но и незаметно переопределяют, что считается достоверной речью, корректной точкой зрения и хорошим рассуждением.
Тексты, сгенерированные LLM, менее разнообразны, чем написанные людьми, и в среднем воспроизводят язык, ценности и логические схемы западных, образованных, индустриальных, состоятельных и демократических сообществ. Причина - в обучающих выборках, где непропорционально представлены доминирующие языки и идеологии.
В статье приводится и обратный эффект: отдельный пользователь с помощью чат-бота, как правило, генерирует больше идей, чем без него, однако группы людей, опирающиеся на LLM, в итоге выдают меньше оригинальных решений, чем те же группы, работающие без ИИ.
Авторы также указывают, что популярные модели тяготеют к линейным схемам вроде CoT, что, по их оценке, может вытеснять интуитивные и абстрактные подходы. Они ссылаются на данные о том, что после взаимодействия с предвзятой моделью мнения пользователей смещаются в ее сторону.
🟡Рекомендация авторов
При обучении моделей следует закладывать реальное языковое и культурное многообразие, а не случайные вариации. Это одновременно сохранит бы когнитивное разнообразие в обществе и улучшит способности самих чат-ботов к рассуждению.
🟡Дисклеймер
Это не эмпирическое исследование с собственными экспериментами, обзорно-полемическая работа, обобщающая чужие исследования и выдвигающая гипотезу.
Сужение стилистики, сдвиг мнений после общения с моделью - подтверждены отдельными исследованиями, а вот более широкие тезисы о глобальной гомогенизации мышления остаются дискуссионными.
Работа выполнена при поддержке Управления научных исследований Минобороны США.
@ai_machinelearning_big_data
#AI#ML#LLM#Research#Cognitive#NLP
📚Хороший гайд по рынку AI от Translink Capital.
Тот случай, когда это не пост по отчету, а именно сам отчет.
Kelvin Mu из Translink Capital (давно и неплохо делает аналитику по сегменту) сделал чтиво по рынку искусственного интеллекта на 42 страницы. Тот случай, когда минимум графиков, которые мы любим, зато отчет достаточно емкий. Вдруг вы пропустили что-то по теме, это точно поможет расставить по полочкам. Понятно, что где в каком сегменте происходит.
Структура:
▪️Infrastructure Layer
▪️Model Layer
▪️Tooling Layer
▪️Application Layer
▪️Investments and M&A
▪️Other AI trends
Могу лишь еще лично направить почитать про тренд по Inference optimization в Tooling Layer, где сказано про наш уже бывший стартап Deci AI, который купила NVIDIA, но вообще каждый найдет там что-то свое. Очень кропотливо собраны тренды.
@proVenture
#ai#research
💯The AI 100 2023: The top people in artificial intelligence.
❗️Сразу попрошу вас – чтобы было интереснее, сначала прочитайте пост, а потом посмотрите приложенный к посту скриншот, не наоборот, а то спойлеры 😁
Любопытный список, на анализ которого я потратил, возможно, больше времени, чем нужно. Но думаю, вам тоже будет интересно. Business Insider подготовил и выкатил список топ-100 людей в AI версии 2023 года. И без paywall, так что я побежал читать. Мне захотелось посмотреть, кто это – и не просто поглазеть, а проанализировать немного.
Я прошелся по каждому из списка и вот что получилось:
1/ В списке представители следующих групп:
▪️43 из стартапов
▪️25 из корпораций
▪️14 из университетов и исследовательских центров
▪️5 из non-profit организаций
▪️4 VC
▪️9 прочее
2/ География жутко концентрирована (P.S. география – это то, где люди находятся сейчас, а не откуда они, почти всегда данные из Linkedin или Crunchbase):
▪️85 из США
▪️7 из Канады
▪️8 из остальных 8 стран
3/ Среди 43 представителей стартапов наиболее встречающиеся направления следующие:
▪️7 Generative AI
▪️6 Biotech & HealthTech
▪️4 AI Audio and video production
▪️3 Conversational AI
▪️2 ML Tools
▪️2 Big Data
▪️2 Edu Tech
▪️2 Defense Tech
4/ Какие компании представлены чаще всего:
▪️5 Amazon
▪️5 Google (совместно с DeepMind)
▪️2 OpenAI
▪️2 Anthropic
▪️2 Hugging Face
5/ Несколько любопытных фактов по списку:
🔹 В списке есть два представителя компаний, которые производят контент для фильмов и т.п. Это прикольно. Я их объединил в одну группу с классическим стартапами, которые генерят видео или аудио под запрос;
🔹 Всего 1 представитель государственного сектора, зато 2 из инвестбанков и 2 из прессы (Bloomberg и NYT);
🚀 Есть 1 человек из пространства СНГ так сказать. Это Карен Симонян из стартапа Inflection AI. Он живет в Армении, а Infection AI – это “personal AI”, они разрабатывают ассистента, собеседника, партнера и т.п. для каждого. Самое ошеломительное, последний раунд Infection AI поднял на $1.3B в конце июня 2023 года (🤑 WAT!?), а лид инвесторами стали Microsoft и Nvidia. Карен джан и команда, мои поздравления, если вы это читаете!
❓Казалось бы, что еще может быть интереснее для нас с вами? Но есть еще кое-что. Есть один человек в списке, деятельность которого можно описать как “comedian and actor”. Это Сара Сильверман. Так вот, откуда такой человек в списке?
Сара была первым человеком, который подал в суд на разработчиков LLM моделей за то, что они использовали ее работы, защищенные вроде как авторским правом. Потом это переросло в class action, к ней присоединились ее соавторы, создатели The Game of Thrones и другие. Авторы рейтинга считают, что несмотря на то, что суд может длиться годами, для нас с вами действия Сары могут послужить источником того, что мы сможем понять более детально, как работают такие модели (наверное, из материалов суда), а также позволят авторам уникального контента понимать, что им делать в противостоянии с гигантскими моделями генераторов контента и как защитить себя.
Вот такой любопытный список, изучайте: https://www.businessinsider.com/the-ai-100-2023-the-people-who-make-ai-intelligent-2023-10
@proVenture
#research#ai
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
🔎 Группа британских ученых создала ИИ-алгоритм для автоматической обработки и извлечения огромных объемов информации из различных документов.
Система анализирует содержание и структуру счет-фактур, налоговых форм и других цифровых данных, а затем сортирует их по категориям.
🗣 По словам исследователей, технология упростит открытие банковских счетов, утверждение ипотечных кредитов, ответы на запросы клиентов и обработку страховых требований, ускорив проверку на мошенничество и извлечение сведений из удостоверяющих личность документов.
#NLP
🗣 Компания Veritone запустила платформу Marvel.AI для клонирования голоса знаменитостей.
По словам разработчиков, любой желающий может создать цифровую копию своего голоса и выставить ее на продажу. Затем образцы речи можно использовать для озвучивания новостей, рекламных роликов и другого контента.
💿 Также платформа может оцифровывать голоса умерших людей. Для этого ей необходимо предоставить их архивные голосовые записи.
#NLP
Cognitive Pilot (дочка Сбера и Cognitive Technologies) показала автономный трактор без кабины. Как утверждают в компании, это первый в мире полностью беспилотный роботрактор. Он способен выполнять все основные сельхозоперации практически с любыми навесными орудиями. Серийное производство трактора должно начаться в 2025 году.
#сбер#cognitive
#nlp#news
Опасный ИИ –– OpenAI создала генератор текстов, который работает слишком хорошо
Алгоритм GPT-2, натренированный на 40 гигабайтах текстов из интернета, научился писать осмысленные тексты. Он предсказывает каждое следующее слово, подходящее по стилю и содержанию. OpenAI решила не выкладывать в открытый доступ полноценный программный код, полагая, что алгоритм может быть опасным, что сильно расстроило сообщество, ведь компания создавалась именно на принципах полной открытости полученных результатов.
Почему важно: В 2015 году лаборатория, основанная Илоном Маском, зарядилась альтруистической целью –– создавать ИИ на благо человечества. Но это было 4 года назад, а сейчас OpenAI побоялась выкладывать свою разработку в открытый доступ. Уж слишком высока вероятность, что ИИ быстро переманят на сторону зла и будут использовать для генерации фейковых новостей и спама. OpenAI создали мощного противника человечества в Dota 2, теперь –– идеального писателя, которому не нужно вдохновение.
Эта новость –– отличный повод поговорить о NLP (направление ML по обработке текста) и его ключевых проблемах. Даже самые огромные бюджеты, которые компании тратят на попытки автоматизации службы поддержки и ответы в чатах пользователям, упираются в число 30%. Это средний объем автоматизации сообщений, выше которого прыгнуть сложно, даже внутри одного маленького домена тем. NLP ждет какого-то фундаментального открытия, которое позволит перейти от статистических методов к полноценному deep learning подходу. Возможно алгоритм GPT-2 поможет сдвинуть NLP с текущей мертвой точки.
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM
🌸Про агенты наAGI 2025🌸
#nlp#про_nlp
В этом году у меня keynote на AGI conf: буду рассказывать про последние важные работы в LLM-агентах, новые возможности и боттлнеки, которые нам ждут на пути к этому самому Artificial General Intelligence.
Frontiers in LLM-Agents for Science Acceleration: can we tackle the scientific progress automation?
We will cover the latest advances in AI Agents and major works of the last year, their limitations and new opportunities on the intersection of foundational model advancement, agency and methodology of science.
В этом году конференция в Исландии, мой доклад 10 августа по плану, так что увидимся в Рейкьявике!
🟣Сайт конфы: https://agi-conf.org/2025/
🟣Регистрация на AGI-25 — онлайн можно все посмотреть бесплатно
🟣Еще в рамках конференции проходят воркшопы, в том числе Interpretable NLP: программу уже выложили
🌸Большая Книга ИИ теперь на Вики🌸
#nlp#про_nlp
На днях Сергей Марков выложил свою книгу "Охота на электроовец: Большая Книга Искусственного Интеллекта" в формате Вики.
Теперь каждую главу можно прочитать (и даже прокомментировать) отдельно, что очень удобно для 1200+ страничного двухтомника.
Это самая полная история всего, что происходило, включая весь 20 век и сильно раньше, а так же всеми любимый генИИ и его предпосылки.
🟣Заглавная страница
🟣Оглавление
Двухтомник можно скачать в pdf, epub и других форматах:
https://markoff.science/