Post #11

Самое интересное из AI в контексте разработки на текущий момент. Главная новость, которую действительно можно выделить из общего фона - это, конечно же, появление новой версии опенсорсной модели llama-3. Чем она столько примечательна? Прежде всего тем, что даже ее младшая ревизия (8B) по бенчмаркам обходит ChatGPT 3.5 (14-е место у llama-3 vs 24-е место у gpt-3.5) и она легко может быть запущена даже на макбуке или на игровом ноуте. А старшая модель и вовсе сравнима с GPT-4 по качеству (на lmsys Arena). Развернуть llama-3 у себя локально проще всего через LM Studio. После установки просто скачайте и запустите модель QuantFactory/Meta-Llama-3-8B-Instruct-GGUF (версию Meta-Llama-3-8B-Instruct.Q8_0.gguf или Meta-Llama-3-8B-Instruct.Q4_K_M.gguf). И все, можно чатиться. Если нужен более подробный гайд - напишите в комментариях, постараюсь оформить. Чем нам разработчикам так интересна эта новость про лламу? Тем, что теперь мы можем локально разворачивать достаточно качественную LLM и использовать ее в кач-ве локального копайлота через опенсорсное расширение CodeGPT + LM Studio в режиме сервера. Кстати, локальный чат с кодом прямо из IDE тоже можно развернуть через расширение Continue (теперь, они поддерживают еще и режим копайлота (автокомплишн). А если вы используете VS Code, то у меня для вас вообще прекрасная новость - вы можете смело переезжать на AI-driven IDE Cursor и использовать ее в связке с llama-3. Кстати, попробовать старшую версию llama-3 (70B) можно через онлайн чаты. Например, через HuggingFace Chat. Или, через какой-то из этого списка. Напомню, что была анонсирована так же огромная 400B версия llama-3, которая все ещё обучается. Что ж, ждём. Ещё одно событие, стоящее внимания - это загадочный выпуск LLM WizardLM-2 от Microsoft. Чем примечателен? Тем, что старшая версия этой LLM по заверениям авторов из Microsoft Research так же может сравниться с GPT-Turbo. Младшая ее версия тоже довольно мощная, но уже менее интересна после выхода llama-3. Запустить WizardLM-2 можно через ту же LM Studio либо через Ollama, но на старшую модель понадобится довольно много ресурсов (увы, это не уровень ноутбука), поэтому запускать ее лучше через Playground, либо по API через OpenRouter. И еще одна хорошая новость: я актуализировал сборник AI сервисов для разработчиков + добавил новые сервисы: * Аналогов Devin'a теперь получилось аж 11 штук (почти все бесплатные) - это такие готовые AI-разработчики, которые могут создавать целые программы с нуля, либо просто фиксить баги/добавлять фичи через PR в существующие репозитории на GitHub * Добавил целую кучу бесплатных плейграундов (7), где можно пообщаться с разными модельками, в т. ч. с новой лламой + обычных чатов более 15-ти штук * Добавил множество сервисов с API открытых моделек, а также всякие инфраструктуры для самостоятельного деплоя своих моделек * Обновил список лидербордов (теперь их 10) Ссылочка прежняя: https://github.com/rodion-m/awesome_ai_for_programmers