TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #721 · 26.12

Почему я люблю языки с сильной системой типов, проверяемой статическим анализом кода — хорошо написанная программа является своей собственной спецификацией и позволяет выражать через язык программирования законы существования предметной области. Когда-то давно я писал на ActionScript. Там была система типов, но вот десериализация JSON'ов по-умолчанию была в какой-то общий Object, к полям которого нужно было обращаться ["по_строковому_имени"]. В один момент мне потребовалось написать что-то на C#, который я совсем не знал, я стал гуглить, как десериализовать JSON, и с удивлением обнаружил кучу советов заранее объявить класс со всеми нужными полями и десериализовать в него. "Какой ужас!", — подумал я тогда, — "Это же дико неудобно! А если я не знаю полей JSON? А если их много? Отвратительный язык!" Теперь то я прекрасно понимаю, что JSON это контракт, и что правильная десериализация только такая и должна быть, и что в хорошем API в одном поле никогда не бывает данных принципиально разных типов, и так далее. Нет, если вы набиваете вечерами пет-проект или сидите бессонную ночь на хакатоне, нет ничего плохого в том, чтобы взять простой язык с динамическими типами вроде JavaScript или Python, не требующий описывать данные. Но вот в энтерпрайзе, особенно когда над одним проектом работает много людей (а бывает это очень часто) — хорошее использование системы типов убережёт разработчиков от огромного количества ошибок, будет бить их по рукам, когда они пытаются сделать что-то не то, и будет подсказывать, когда они не уверены в чём-то. С помощью статической типизации можно на уровне кода обозначить правила, по которым ведёт себя предметная область вашей программы в реальном мире. Разработчику не только будет сложно их нарушить, но он ещё и станет узнавать какие-то вещи, которые мог не знать раньше. Например, если мы делаем медицинскую CRM, и больница заводит новых пациентов только тогда, когда знает их группу крови, мы можем объявить тип "Пациент" (или, если точнее, "Карта пациента") и запретить создавать экземпляры этого типа, не передав в конструктор группу крови (которая, в свою очередь, тоже является типом, вероятнее всего ValueObject'ом). Если новый программист пришёл в проект, он, во-первых, не сможет записать в БД некорректную карту пациента. Понятно, мы не учитываем случаи, когда новый программист переделывает модели предметной области — это будет хорошо видно на кодревью. А, во-вторых, даже если ему никто не сказал, что пациенты должны быть с группой крови, он узнает это из кода. И уже будет понимать, что в тех процессах реальной жизни, которые он описывает кодом, карта пациента создаётся только при наличии группы крови. А, значит, нужно искать какой-то способ сначала эту группу крови получить, и только потом создавать карту. Программирование моделирует реальный процесс. В настоящей работе даже на языках с типами, конечно, без должного контроля можно написать что угодно. Нужна управленческая воля, компетентность руководства, понимание опасности техдолга, в идеале отдельные должности для архитекторов, опытные лиды и старшие разработчики. Но когда всё это есть, можно отсекать много проблем ещё на старте и проще погружать новичков. #dev

Hashtags

Резултати

Намерени 8 подобни публикации

Търсене: #karpathy

当前筛选 #karpathy清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #9370 · 09.01.2026 г., 12:04

📌Андрей Карпаты нашел идеальный баланс токенов и параметров для обучения LLM. Андрей Карпаты опубликовал результаты экспериментов по оптимизации претрейна языковых моделей в условиях фиксированного бюджета. Чтобы найти наиболее эффективный способ расходования вычислительных ресурсов, он провел серию тестов на сервере с 8х GPU H100, обучив 11 моделей разного размера при одинаковых затратах на вычисления. 🟡Главный вывод: существует «золотое сечение». Карпаты обнаружил, что по мере увеличения мощностей оптимальное количество параметров и тренировочных токенов растут синхронно. Эмпирическое правило для протестированных конфигураций: на 1 параметр модели должно приходиться примерно 8 токенов обучающей выборки. Если модель слишком мала, она не усваивает достаточно информации; если слишком велика — бюджет заканчивается раньше, чем она успевает обучиться. Для инженеров этот рецепт позволяет заранее планировать архитектуру и бюджет, избегая создания заведомо неэффективных моделей. Традиционно, все эксперименты Андрея открыты и их можно повторить самостоятельно. 🔜Погрузиться в детали экспериментов @ai_machinelearning_big_data #AI#ML#LLM#Karpathy

Machinelearning

@ai_machinelearning_big_data · Post #8295 · 18.08.2025 г., 10:09

⚡️ Андрей Карпаты о том, что делает стиль работы Илона Маска уникальным Карпаты, руководивший командой компьютерного зрения Tesla Autopilot, объясняет, почему Маск — особенный лидер. 1️⃣Маленькие, сильные, технические команды — В обычных компаниях команды разрастаются, но Илон всегда выступает против этого. — Наём новых людей нужно буквально «выбивать». — Низкоэффективных сотрудников он быстро убирает. — Никакого «среднего менеджмента» без технического бэкграунда. 2️⃣Офис как место драйва — Ненавидит стагнацию и большие бесполезные митинги. — Поощряет уходить со встреч, если ты не учишься и не вносишь вклад. — Культура: меньше «комфорта», больше фокуса на интенсивной инженерной работе. 3️⃣Прямой контакт с инженерами — Обычно до CEO не добраться напрямую — сотрудники общаются через несколько уровней начальников и вице-президентов. — Маск же много времени разговаривает напрямую с инженерами. — Источник истины — код и инженеры, а не менеджеры. 4️⃣Лично решает сложные вопросы — Если инженеры говорят: «Не хватает GPU», он сразу звонит ответственному за кластеры. — Если виновата NVIDIA — звонит напрямую Дженсену Хуану. 🟠Карпаты: «Многие недооценивают, насколько Илон вовлечён в повседневные операции. Он постоянно устраняет узкие места и держит руку на пульсе». 🟢Урок: маленькие сильные команды, прогрессивная инженерная культура и CEO, который лично решает критические проблемы. @ai_machinelearning_big_data #Karpathy#elonmusk

👐 Consejos para usar los modelos LLM del cofundador de OpenAI, Andrej Karpathy El cofundador de OpenAI, Andrej Karpathy, compartió su enfoque personal para utilizar modelos de lenguaje. En su nueva conferencia, explica en detalle cómo estructurar un diálogo con los LLM para obtener las mejores respuestas. Aquí tienes algunos de los consejos más interesantes: ➡️ Inicia un nuevo chat al cambiar de tema. Esto ayuda al modelo a enfocarse en una pregunta específica y a usar su conocimiento de manera más efectiva. ➡️ Puedes interactuar con los chatbots más allá del texto. ChatGPT y otros asistentes ofrecen modos convenientes para la comunicación por voz. También pueden procesar información de imágenes e incluso videos en tiempo real. Karpathy señala que estas funciones podrían ser especialmente útiles para tus familiares mayores. ➡️ Aprovecha los GPT personalizados. Estos amplían las capacidades de ChatGPT. Karpathy, por ejemplo, los utiliza para aprender coreano. 📱 En la conferencia, Karpathy también habla sobre modelos de razonamiento, herramientas integradas en los bots, la memoria de ChatGPT y otras funciones. Puedes ver la grabación completa aquí. Más sobre el tema: ➡️Lección de Andrej Karpathy: "Cómo crear GPT-2" ➡️Una selección de lecciones interesantes sobre LLM y aprendizaje automático #leccion#educación#Karpathy@hiaimediaes

NEWS 鏈新聞-ABMedia

@abmedia_news · Post #24562 · 13.05.2026 г., 06:00

【🤖 AI 人工智慧|Karpathy CLAUDE.md 衝 126K 星:社群版 12 條進階規則整理】 #ClaudeCode#Claudemd#Karpathy 工程師 Mnilax 於 5 月 9 日提出 12 條規則,擴充 Karpathy 的寫程式情境。 基礎 repo 星數突破 126,000,宣稱將開發錯誤率從 41% 降至 3%。內容對應多代理痛點,雖相關數據未經驗證。 📍閱讀全文: https://abmedia.io/claude-md-12-rules-karpathy-mnilax-extended-may-2026 📍 訂閱鏈新聞頻道:https://linktr.ee/abmedia.io

Machinelearning

@ai_machinelearning_big_data · Post #9015 · 19.11.2025 г., 09:38

🌟Reader3: легковесная читалка для книг от Andrej Karpathy Андрей Карпаты опубликовал у себя в Github небольшой проект - утилиту под названием reader3. На первый взгляд, это просто легковесная читалка для электронных книг в формате EPUB, которую можно запустить у себя на компьютере. Но главная идея в том, чтобы читать книги вместе с LLM. Reader3 разбивает книгу по главам, и пользователь может легко скопировать текст текущей главы и вставить его в свой любимый LLM, чтобы обсуждать сюжет, анализировать стиль или задавать вопросы по тексту. Но самое интересное здесь — это философия, которая стоит за проектом. Карпаты пишет, что проект написан "на 90% вайбкодингом", просто для иллюстрации идеи и что он не собирается его поддерживать или улучшать. Я начинаю привыкать читать все (блоги, статьи, главы книг и т. д.) с помощью LLM. Обычно первый проход — ручной, второй — «объяснение/резюме», третий — вопросы и ответы. В результате я обычно получаю более глубокое понимание, чем если бы я просто прошел дальше. Этот процесс становится у меня одним из самых популярных вариантов чтения. А вместо этого предлагает пользователям... просто попросить свою языковую модель изменить код так, как им нравится. Код теперь эфемерный, — пишет Андрей, намекая на то, что эпоха статичных библиотек и долгой поддержки уходит в прошлое. Для тех, кто хочет попробовать, процесс максимально прост. Нужно скачать книгу в формате EPUB и запустить пару команд в терминале, используя uv: uv run reader3.py yourbook.epub # Then run the server: uv run server.py После этого ваша книжная полка станет доступна в браузере по адресу localhost:8123. 📌Лицензирование: MIT License. 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#Karpathy#Github#Book

Machinelearning

@ai_machinelearning_big_data · Post #8789 · 16.10.2025 г., 10:05

🔥 Nanochat D32 : микромодель Карпаты за $1000, которая реально работает Карпаты написал, что завершил обучение Nanochat D32, обученной за 33 часа при бюджете $1000 (вместо $100). Результаты - удивительно хорошие для такой «крошки»: - 📈CORE score: 0.31 (выше, чем у GPT-2 — ~0.26) - 🧮GSM8K: с 8% до 20% - 🚀 Рост виден на всех этапах - pretraining, SFT и RL Карпати пишет: > «Не ждите от микромоделей чудес. Они обходятся $100–$1000, а не миллиарды долларов, как у крупных лабораторий. > Разговаривать с моделью - как с ребёнком из детсада: они милые, ошибаются, путаются, галлюцинируют, но это весело.» 💡Факты: - Nanochat тренируется с нуля - Самая маленькая модель Nanochat содержит примерно в тысячу раз меньше параметров, чем GPT-3. - Обнолвенный скрипт run1000.sh уже доступен в репозитории 📎 Подробности и отчёт: https://github.com/karpathy/nanochat/discussions/8 Карпати уже тестирует веб-чат с моделью (ссылку не публикует, чтобы не обвалили сервер). Дальше -оптимизация и возможно, переход к следующему уровню масштабирования. #AI#LLM#Nanochat#Karpathy#AIresearch#OpenSourceAI

Machinelearning

@ai_machinelearning_big_data · Post #8851 · 24.10.2025 г., 22:00

🧠 Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, сравнив её «мозг» с мозгом пчелы. Он обучил модель считать, сколько раз буква r встречается в слове strawberry, и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи. Сначала генерируются диалоги: «Сколько букв r в слове strawberry?» и правильные ответы. После этого модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык. Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы. Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче понимает задачу. Nanochat решает задачу двумя способами: — логически, рассуждая пошагово; — через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата. Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные. 📘 Разбор: github.com/karpathy/nanochat/discussions/164 @ai_machinelearning_big_data #AI#Karpathy#Nanochat#LLM#SFT#RL#MachineLearning#OpenSource