Post #1799

Кстати, Андрей Карпаты недавно выкатил NanoChat — минималистичный опенсорс, в котором весь цирк LLM умещается в один репозиторий и около восьми тысяч строк. На выходе у вас будет собственный LLM-бот и отчет со всеми метриками. Цена такого развлечения около ста долларов на сервере с восемью H100 и примерно четыре часа пробега. Если восьми H100 под рукой как-то не оказалось, можно крутить на одной видеокарте дома, просто уменьшаешь батч и запастись терпением. Проект опенсорс и бесплатный, подходит тем, кто хочет быстро разобраться в архитектуре языковых моделей. А если захочется по-взрослому, автор уже намекает на более длинные пробеги за триста и тысячу долларов. В общем, отличный учебный каркас для своих маленьких ботов. Git проекта #llm@TochkiNadAI