KoboldCpp：适用于 GGML 和 GGUF 模型的本地大模型部署运行工具，一个可执行文件包含所有必要文件，直接运行

本文最后更新于 2025年10月7日 by 阿喵

KoboldCpp 是一款易于使用的 AI 文本生成软件，适用于 GGML 和 GGUF 模型，其灵感源自最初的
KoboldAI。它是一个独立的可分发包，基于llama.cpp构建，并添加了许多其他强大的功能.

刚开始在本地跑大模型，往往要折腾环境依赖、库文件兼容，体验极其繁琐。后来虽然有了 Ollama、llama.cpp 这类工具简化部署，但功能单一。KoboldCpp 在此基础上走得更远：既继承了 llama.cpp 的高效推理，又保持了 Ollama 式的简单易用，只需下载一个可执行文件，就能直接运行

它不仅支持 CPU/GPU 双模式，还额外集成了 图像生成、语音识别、文字转语音 等多模态 AI 功能，并且兼容 OpenAI、Ollama 等主流 API，能无缝接入现有服务。跨平台支持 Windows、macOS、Linux，真正做到了开箱即用，对想要体验多功能本地大模型的用户来说非常友好

软件截图

软件特性

适用于 Windows、MacOS 和 Linux 的即用型二进制文件。可直接与 Colab 和 Docker 运行，如果自行编译，还支持其他平台（例如 Android（通过 Termux）和 Raspberry PI）。

单个文件可执行，无需安装，无外部依赖

在 CPU 或 GPU 上运行，支持全部或部分卸载

LLM 文本生成（支持所有 GGML 和 GGUF 模型，向后兼容所有过去的模型）

图像生成（稳定扩散 1.5、SDXL、SD3、Flux）

通过 Whisper 进行语音转文本（语音识别）

通过 OuteTTS、Kokoro、Parler 和 Dia 进行文本转语音（语音生成）

为许多流行的网络服务提供许多兼容的 API 端点（KoboldCppApi OpenAiApi OllamaApi A1111ForgeApi ComfyUiApi WhisperTranscribeApi XttsApi OpenAiSpeechApi）

捆绑的 KoboldAI Lite UI 带有编辑工具、保存格式、内存、世界信息、作者注释、人物、场景。

包括多种模式（聊天、冒险、指导、故事作家）和 UI 主题（美学角色扮演、经典作家、企业助理、信使）

支持加载Tavern Character Cards、从各个站点导入多种不同数据格式、读取或导出 JSON 保存文件和持久故事。

许多其他功能包括新的采样器、正则表达式支持、网络搜索、通过 TextDB 的 RAG、图像识别/视觉等。

项目地址