DN42 access
本服务为那些无法轻松访问自身网络的用户以及希望体验 dn42 但又不想承担维护自有网络成本的用户提供 dn42 连接
默认情况下，地址从/96地址块中分配，如果您希望租用独立的/96前缀或更大的地址空间，请按照联系方式联系我
所有公开的PoP均已屏蔽来自中国境内的 IP 地址。如果您确实需要dn42 access，请与我联系并提供合理的理由
该服务由AS4242423377提供
- - - - - - -
The service provides DN42 connectivity to members who cannot easily access their own networks, as well as to those who would like to explore DN42 without the overhead of maintaining their own network.
By default, addresses are allocated from a /96 block. If you wish to lease a dedicated /96 prefix or a larger address space, please contact me using the methods provided in the contact information.
All publicly accessible PoP are blocked for IPs originating from within China. DN42 access from within China is not publicly available. If you genuinely require access, please contact me and provide a valid justification.
Hosted by AS4242423377.
Policy
本服务需要花费时间和金钱才能运行，但为了您的利益，我们免费提供。使用本服务是一种特权，而非权利。您必须合理使用本服务，以确保其他用户也能继续享受同样的便利。任何滥用、误用或干扰服务或其他用户的行为都可能导致您的访问权限立即被暂停或终止。
滥用行为包括但不限于：
- 过度使用资源
- 黑客攻击、病毒、木马等，或任何其他可能损害服务或对服务及其用户造成风险的干扰行为
- 传播可能导致民事或刑事责任的不良内容
- - - - - - -
This service require real time and financial resources to operate, yet are provided free of charge for your benefit. Access to the services is a privilege, not a right. You must use the services responsibly and considerately to ensure that other users can continue to enjoy the same opportunities. Any misuse, abuse, or activities that disrupt the service or other users may result in immediate suspension or termination of access.
Abuse could include, but is not limited to:
- Excessive use of resources
- Hacking, viruses, trojans etc or any other disruption that could harm or create risk to the services or its users
- Distribution of objectional content that could create a civil or criminal liability
PoP
## Toronto, Canada
Prefix: fdb6:fc6a:e66c:724f:fad1:d2cf::/96
Zerotier: 4753cf475f65b0fb
## Los Angeles, USA
coming soon
#announcement#service
📌Андрей Карпаты нашел идеальный баланс токенов и параметров для обучения LLM.
Андрей Карпаты опубликовал результаты экспериментов по оптимизации претрейна языковых моделей в условиях фиксированного бюджета.
Чтобы найти наиболее эффективный способ расходования вычислительных ресурсов, он провел серию тестов на сервере с 8х GPU H100, обучив 11 моделей разного размера при одинаковых затратах на вычисления.
🟡Главный вывод: существует «золотое сечение».
Карпаты обнаружил, что по мере увеличения мощностей оптимальное количество параметров и тренировочных токенов растут синхронно. Эмпирическое правило для протестированных конфигураций: на 1 параметр модели должно приходиться примерно 8 токенов обучающей выборки.
Если модель слишком мала, она не усваивает достаточно информации; если слишком велика — бюджет заканчивается раньше, чем она успевает обучиться.
Для инженеров этот рецепт позволяет заранее планировать архитектуру и бюджет, избегая создания заведомо неэффективных моделей.
Традиционно, все эксперименты Андрея открыты и их можно повторить самостоятельно.
🔜Погрузиться в детали экспериментов
@ai_machinelearning_big_data
#AI#ML#LLM#Karpathy
⚡️ Андрей Карпаты о том, что делает стиль работы Илона Маска уникальным
Карпаты, руководивший командой компьютерного зрения Tesla Autopilot, объясняет, почему Маск — особенный лидер.
1️⃣Маленькие, сильные, технические команды
— В обычных компаниях команды разрастаются, но Илон всегда выступает против этого.
— Наём новых людей нужно буквально «выбивать».
— Низкоэффективных сотрудников он быстро убирает.
— Никакого «среднего менеджмента» без технического бэкграунда.
2️⃣Офис как место драйва
— Ненавидит стагнацию и большие бесполезные митинги.
— Поощряет уходить со встреч, если ты не учишься и не вносишь вклад.
— Культура: меньше «комфорта», больше фокуса на интенсивной инженерной работе.
3️⃣Прямой контакт с инженерами
— Обычно до CEO не добраться напрямую — сотрудники общаются через несколько уровней начальников и вице-президентов.
— Маск же много времени разговаривает напрямую с инженерами.
— Источник истины — код и инженеры, а не менеджеры.
4️⃣Лично решает сложные вопросы
— Если инженеры говорят: «Не хватает GPU», он сразу звонит ответственному за кластеры.
— Если виновата NVIDIA — звонит напрямую Дженсену Хуану.
🟠Карпаты: «Многие недооценивают, насколько Илон вовлечён в повседневные операции. Он постоянно устраняет узкие места и держит руку на пульсе».
🟢Урок: маленькие сильные команды, прогрессивная инженерная культура и CEO, который лично решает критические проблемы.
@ai_machinelearning_big_data
#Karpathy#elonmusk
👐 Consejos para usar los modelos LLM del cofundador de OpenAI, Andrej Karpathy
El cofundador de OpenAI, Andrej Karpathy, compartió su enfoque personal para utilizar modelos de lenguaje. En su nueva conferencia, explica en detalle cómo estructurar un diálogo con los LLM para obtener las mejores respuestas.
Aquí tienes algunos de los consejos más interesantes:
➡️ Inicia un nuevo chat al cambiar de tema. Esto ayuda al modelo a enfocarse en una pregunta específica y a usar su conocimiento de manera más efectiva.
➡️ Puedes interactuar con los chatbots más allá del texto. ChatGPT y otros asistentes ofrecen modos convenientes para la comunicación por voz. También pueden procesar información de imágenes e incluso videos en tiempo real. Karpathy señala que estas funciones podrían ser especialmente útiles para tus familiares mayores.
➡️ Aprovecha los GPT personalizados. Estos amplían las capacidades de ChatGPT. Karpathy, por ejemplo, los utiliza para aprender coreano.
📱 En la conferencia, Karpathy también habla sobre modelos de razonamiento, herramientas integradas en los bots, la memoria de ChatGPT y otras funciones. Puedes ver la grabación completa aquí.
Más sobre el tema:
➡️Lección de Andrej Karpathy: "Cómo crear GPT-2"
➡️Una selección de lecciones interesantes sobre LLM y aprendizaje automático
#leccion#educación#Karpathy@hiaimediaes
🌟Reader3: легковесная читалка для книг от Andrej Karpathy
Андрей Карпаты опубликовал у себя в Github небольшой проект - утилиту под названием reader3.
На первый взгляд, это просто легковесная читалка для электронных книг в формате EPUB, которую можно запустить у себя на компьютере. Но главная идея в том, чтобы читать книги вместе с LLM.
Reader3 разбивает книгу по главам, и пользователь может легко скопировать текст текущей главы и вставить его в свой любимый LLM, чтобы обсуждать сюжет, анализировать стиль или задавать вопросы по тексту.
Но самое интересное здесь — это философия, которая стоит за проектом. Карпаты пишет, что проект написан "на 90% вайбкодингом", просто для иллюстрации идеи и что он не собирается его поддерживать или улучшать.
Я начинаю привыкать читать все (блоги, статьи, главы книг и т. д.) с помощью LLM. Обычно первый проход — ручной, второй — «объяснение/резюме», третий — вопросы и ответы.
В результате я обычно получаю более глубокое понимание, чем если бы я просто прошел дальше. Этот процесс становится у меня одним из самых популярных вариантов чтения.
А вместо этого предлагает пользователям... просто попросить свою языковую модель изменить код так, как им нравится.
Код теперь эфемерный,
— пишет Андрей, намекая на то, что эпоха статичных библиотек и долгой поддержки уходит в прошлое.
Для тех, кто хочет попробовать, процесс максимально прост. Нужно скачать книгу в формате EPUB и запустить пару команд в терминале, используя uv:
uv run reader3.py yourbook.epub
# Then run the server:
uv run server.py
После этого ваша книжная полка станет доступна в браузере по адресу localhost:8123.
📌Лицензирование: MIT License.
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#LLM#Karpathy#Github#Book
🔥 Nanochat D32 : микромодель Карпаты за $1000, которая реально работает
Карпаты написал, что завершил обучение Nanochat D32, обученной за 33 часа при бюджете $1000 (вместо $100).
Результаты - удивительно хорошие для такой «крошки»:
- 📈CORE score: 0.31 (выше, чем у GPT-2 — ~0.26)
- 🧮GSM8K: с 8% до 20%
- 🚀 Рост виден на всех этапах - pretraining, SFT и RL
Карпати пишет:
> «Не ждите от микромоделей чудес. Они обходятся $100–$1000, а не миллиарды долларов, как у крупных лабораторий.
> Разговаривать с моделью - как с ребёнком из детсада: они милые, ошибаются, путаются, галлюцинируют, но это весело.»
💡Факты:
- Nanochat тренируется с нуля
- Самая маленькая модель Nanochat содержит примерно в тысячу раз меньше параметров, чем GPT-3.
- Обнолвенный скрипт run1000.sh уже доступен в репозитории
📎 Подробности и отчёт:
https://github.com/karpathy/nanochat/discussions/8
Карпати уже тестирует веб-чат с моделью (ссылку не публикует, чтобы не обвалили сервер).
Дальше -оптимизация и возможно, переход к следующему уровню масштабирования.
#AI#LLM#Nanochat#Karpathy#AIresearch#OpenSourceAI
🧠 Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, сравнив её «мозг» с мозгом пчелы.
Он обучил модель считать, сколько раз буква r встречается в слове strawberry, и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Сначала генерируются диалоги:
«Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче понимает задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово;
— через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI#Karpathy#Nanochat#LLM#SFT#RL#MachineLearning#OpenSource