Ax的MCP服务器
从Ollama的本地法学硕士开始:
python bridge.py从本地LLM和python llama.cpp开始(运行GGUF文件模型):
python directserver.py需求
要使用ollama运行,requirements.txt就可以了。
要为llama.cpp添加GPU支持,请执行以下操作:
在命令行上:
export CMAKE_ARGS="-DGGML_CUDA=on"
export FORCE_CMAKE=1
pip install --upgrade --force-reinstall --no-cache-dir llama-cpp-python