Cloud Run LLM Adk MCP

使用MCP服务器和ADK代理在云端运行LLM管道

该项目演示了如何构建一个可扩展的模块化AI管道，该管道将LLM微调和服务工作流与安全的微服务通信层和自主决策代理集成在一起，所有这些都是使用Google Cloud Run部署的。

其目标是展示基于云的GPU服务、API和代理如何协同工作，以支持高效、隐私感知和生产就绪的端到端智能系统。

______________________________________________________________________

项目概述

该系统有四个主要组成部分：

1. LLM微调服务（GPU）\

使用支持GPU的Cloud Run Jobs微调类似Gemma的模型，并将模型检查点存储在Google Cloud Storage（GCS）中。

1. LLM推理服务（vLLM）\

使用以下命令为微调后的模型提供服务 vLLM 通过云运行（GPU） 兼容OpenAI的API.

1. MCP服务器\

一种安全的微服务（使用API密钥），用于处理来自代理和LLM的特定上下文请求。

1. ADK代理\

一个轻量级的自主决策代理，与LLM和MCP服务器通信，以实现智能任务执行。

当您获得GCP访问权限时

# 0) Auth & project config
source .env
bash scripts/01_setup.sh

# 1) Build + push all images
bash scripts/02_build_and_push_images.sh

# 2) Fine-tune (creates & executes a GPU job)
bash scripts/03_finetune_job_create_execute.sh
# After it finishes, update MODEL_GCS in .env to the emitted checkpoints path.

# 3) Deploy vLLM service (GPU) serving your checkpoints
bash scripts/04_deploy_vllm_service.sh

# 4) Deploy secure MCP server
bash scripts/05_deploy_mcp_server.sh

# 5) Deploy ADK agent (connects to both LLM + MCP)
bash scripts/06_deploy_adk_agent.sh

# Note
The setup script is currently minimal for local preparation.
Once GCP access is available, extend it to include:
- Service account creation
- Secret Manager setup (HF_TOKEN)
- Proper IAM roles