狃犸工具
快速找到你需要的工具和资源
🏗️
LLMs Backend
本地运行大语言模型的后端引擎
9 个工具
🦙
Llama.cpp
在 MacBook 上使用 4-bit 量化运行 LLaMA 模型的高性能 C++ 实现
C++量化
↗
🤖
LocalAGI
LocalAI 作者开发的本地虚拟助手，可完全本地运行
AI助手本地
↗
🦙
Ollama
快速上手本地大语言模型，支持多种模型的轻量级后端
本地运行易用
↗
🏠
LocalAI
OpenAI API 的本地替代方案，无需 GPU，可在消费级硬件运行
OpenAI兼容CPU运行
↗
🐉
KoboldCpp
易用的 AI 文本生成软件，支持 GGML 和 GGUF 模型
文本生成GGUF
↗
📦
GPT4All
开源大语言模型，可在 CPU 和大多数 GPU 上本地运行
本地运行开源
↗
🌐
Text Generation WebUI
Gradio 浏览器界面，支持 transformers、GPTQ、AWQ、GGUF 等多种格式
WebUI多模型
↗
🚀
vLLM
高吞吐量、内存高效的 LLM 推理和服务引擎
推理引擎高吞吐
↗
⚡
ExLlama
在现代消费级 GPU 上本地运行 LLM 的快速推理库
GPU推理快速
↗