Post #608

#AI工程 llama.cpp 和 whisper.cpp作者，在M1 Pro 32G的电脑上同时运行了4个聊天AI，模拟真人Podcast场景。 每个AI都独立运行whisper和 LLaMa 13B 4 个 AI 通过 mmap共享 LLM weights，节省大量内存，允许并行运行多个单独的实例 -- 来源