Databricks Advanced MCP Server

Rancher高级MCP服务器

     

先进的 模型上下文协议（MCP） 服务器，使AI助手能够深入了解您的copula工作区——43个工具，涵盖依赖关系扫描、影响分析、笔记本审查、作业/流水线操作、SQL执行、目录管理、计算和仓库控制以及Unity catalog卷。

特性

演示

Demo teaser

Click to play full video

https://github.com/user-attachments/assets/579282ca-bb26-4244-b0c6-3ad26050aca3

涵盖SQL执行、依赖关系扫描、影响分析、笔记本审查和作业/管道操作。

快速开始

先决条件

• Python 3.11+
• 紫外线 --快速Python包管理器
• A. copula工作区 使用SQL仓库
• 一个docker 个人访问令牌

其他身份验证方法： Rancher SDK支持 统一认证 --如果你不设置 DATABRICKS_TOKEN，它将回退到Azure CLI、托管身份或 .databrickscfgThe .env 为了简单起见，下面的设置使用了PAT。 还没有一个copula工作区？ 看 infra/INSTALL.md 使用二头肌进行单命令Azure部署。

1.安装

选项A：从PyPI安装（推荐）

uv pip install databricks-advanced-mcp

或者使用pip：

pip install databricks-advanced-mcp

选项B：从源代码安装

git clone https://github.com/henrybravo/databricks-advanced-mcp-server.git
cd databricks-advanced-mcp-server

创建并激活虚拟环境：

Windows（PowerShell）

uv venv .venv
.\.venv\Scripts\Activate.ps1
uv pip install -e .

macOS/Linux

uv venv .venv
source .venv/bin/activate
uv pip install -e .

2.配置

cp .env.example .env

编辑 .env 使用您的copula凭据：

# Azure Databricks:
DATABRICKS_HOST=https://adb-xxxx.azuredatabricks.net
# Databricks on AWS / GCP:
# DATABRICKS_HOST=https://dbc-xxxx.cloud.databricks.com

DATABRICKS_TOKEN=dapi_your_token
DATABRICKS_WAREHOUSE_ID=your_warehouse_id

# Optional (defaults shown)
# Azure workspaces typically use "main"; AWS/GCP workspaces use "workspace"
DATABRICKS_CATALOG=main
DATABRICKS_SCHEMA=default

3.添加到IDE

创建 .vscode/mcp.json 在您的项目中，使用VS Code/GitHub Copilot注册MCP服务器。

选项A:PyPI安装（推荐）

如果你是从PyPI安装的(pip install databricks-advanced-mcp)，the databricks-mcp CLI在您的PATH上可用：

{
  "servers": {
    "databricks-mcp": {
      "type": "stdio",
      "command": "databricks-mcp",
      "env": {
        "DATABRICKS_HOST": "https://adb-xxxx.azuredatabricks.net",
        "DATABRICKS_TOKEN": "dapi_your_token",
        "DATABRICKS_WAREHOUSE_ID": "your_warehouse_id"
      }
    }
  }
}

选项B：虚拟环境（源代码安装）

如果你克隆了仓库并安装到本地 .venv，直接指向Python解释器：

视窗

{
  "servers": {
    "databricks-mcp": {
      "type": "stdio",
      "command": "${workspaceFolder}/.venv/Scripts/python.exe",
      "args": ["-m", "databricks_advanced_mcp.server"],
      "envFile": "${workspaceFolder}/.env"
    }
  }
}

macOS/Linux

{
  "servers": {
    "databricks-mcp": {
      "type": "stdio",
      "command": "${workspaceFolder}/.venv/bin/python",
      "args": ["-m", "databricks_advanced_mcp.server"],
      "envFile": "${workspaceFolder}/.env"
    }
  }
}

多个工作区

每个MCP服务器实例只连接到一个copula工作区。要同时使用多个工作区，请为每个工作区注册一个单独的服务器条目——每个条目都有自己的凭据：

{
  "servers": {
    // AWS / GCP workspace
    "databricks-cloud": {
      "type": "stdio",
      "command": "databricks-mcp",
      "env": {
        "DATABRICKS_HOST": "https://dbc-xxxx.cloud.databricks.com",
        "DATABRICKS_TOKEN": "dapi_cloud_token",
        "DATABRICKS_WAREHOUSE_ID": "cloud_warehouse_id",
        "DATABRICKS_CATALOG": "workspace"
      }
    },
    // Azure workspace
    "databricks-azure": {
      "type": "stdio",
      "command": "databricks-mcp",
      "env": {
        "DATABRICKS_HOST": "https://adb-xxxx.azuredatabricks.net",
        "DATABRICKS_TOKEN": "dapi_azure_token",
        "DATABRICKS_WAREHOUSE_ID": "azure_warehouse_id",
        "DATABRICKS_CATALOG": "main"
      }
    }
  }
}

或者，通过源代码安装，您可以使用单独的 .env 每个工作区的文件：

{
  "servers": {
    "databricks-cloud": {
      "type": "stdio",
      "command": "${workspaceFolder}/.venv/bin/python",
      "args": ["-m", "databricks_advanced_mcp.server"],
      "envFile": "${workspaceFolder}/.env"
    },
    "databricks-azure": {
      "type": "stdio",
      "command": "${workspaceFolder}/.venv/bin/python",
      "args": ["-m", "databricks_advanced_mcp.server"],
      "envFile": "${workspaceFolder}/.env_azure"
    }
  }
}

4.开始使用

配置后，您的AI助手可以调用下面43个工具中的任何一个。以下是按域组织的示例提示：

探索您的数据

• *“哪些表存在于 analytics 模式？"*
• *“显示的架构和元数据 main.sales.orders"*
• *“运行一个查询，按状态对订单进行计数和求和 main.sales.orders"*

Unity目录和模式

• *“列出我有权访问的所有目录”*
• *“分析目录中存在哪些模式？”*
• *“描述 main.default 架构“*
• *“创建一个名为 staging 在分析目录中”*

了解依赖关系

• *“构建完整的工作区依赖关系图”*
• *“上游和下游依赖关系是什么 main.default.customers?"*
• *“扫描 /Shared/mandated_broker_v2_etl_pipeline 用于表格参考的笔记本”*
• *“扫描所有作业并显示其表依赖关系”*

在做出更改之前评估影响

• *“如果我摔了，会有什么破的 customer_id 列从 main.default.customers?"*
• *“删除的影响是什么 amount 列和重命名 status 到 order_status 在 main.sales.orders?"*

检查笔记本电脑质量

• *“审查 /Shared/mandated_broker_v2_etl_pipeline 性能问题”*
• *“审查 /Shared/analysis 对于所有问题——性能、编码标准和优化”*

监控作业和管道

• *“列出工作区中的所有作业”*
• *“作业12345的当前状态如何？”*
• *“显示DLT管道的管道状态”*
• *“使用参数env=prod触发作业67890的新运行”*

计算和SQL仓库

• *“显示集群abc-123的状态”*
• *“列出所有正在运行的群集”*
• *“停止开发SQL仓库”*
• *“目前哪些仓库处于活动状态？”*

工作空间和体积

• *“将ETL笔记本导出为源”*
• *“笔记本在/Workspace/Users/me/analysis上的状态如何？”*
• *“原始数据卷中有哪些文件？”*
• *“从设置卷读取config.json文件”*

MCP工具

SQL和表（3个工具）

依赖性扫描（4个工具）

图形操作（3个工具）

影响分析和审查（2个工具）

作业和管道运营（6个工具）

目录和模式（5个工具）

计算（5个工具）

SQL仓库（4个工具）

工作空间操作（7个工具）

UC卷（4个工具）

配置参考

安全说明： 这 execute_query 工具可以运行 任何SQL 针对您的仓库，包括DDL(DROP TABLE, ALTER TABLE)DML(DELETE, UPDATE).使用最小权限服务主体（请参见 安全与治理 下面）而不是生产环境中的个人管理员PAT。

云提供商说明

此服务器经过测试 Azure数据集 和 AWS上的copula (.cloud.databricks.com).主要区别：

所有工具都可以在两个平台上运行。集 DATABRICKS_CATALOG 以匹配工作区的默认目录。

安全与治理

推荐：特权最低的服务负责人

避免将个人管理员PAT存储在 .env 或VS代码配置。相反，创建一个仅具有所需权限的专用服务主体：

-- Grant read access on the catalog and schema
GRANT USE CATALOG ON CATALOG main TO `sp-databricks-mcp`;
GRANT USE SCHEMA ON SCHEMA main.default TO `sp-databricks-mcp`;
GRANT SELECT ON SCHEMA main.default TO `sp-databricks-mcp`;

-- For job operations (trigger_rerun, trigger_job_run, get_job_status)
-- Grant CAN_MANAGE_RUN on specific jobs only, via the Databricks UI or API

集 DATABRICKS_TOKEN 服务主体的OAuth令牌或M2M秘密。Rancher SDK支持 OAuth M2M身份验证 本机-不需要PAT。

工具风险等级

Unity目录ACL

全部 execute_query 和 get_table_info 调用尊重Unity目录行/列级安全性。如果代币的本金不足 SELECT 在表上，操作失败并出现权限错误——这是预期的正确行为。

查询保护

限制 execute_query 对于只读语句，请限制SQL仓库的通道策略或为此MCP服务器使用专用的只读仓库。

基础设施（可选）

如果您需要配置新的Azure Rancher工作区 infra/ 目录包含：

• main.bicep --Azure二头肌模板（高级SKU，启用Unity目录）
• deploy.ps1 --一个命令PowerShell部署脚本
• INSTALL.md --详细的分步部署指南

cd infra
./deploy.ps1 -ResourceGroupName rg-databricks-mcp -Location eastus2

发展

# Install with dev dependencies
uv pip install -e ".[dev]"

# Run tests (excluding live integration tests)
uv run pytest tests/ --ignore=tests/test_workspace_ops_live.py -v

# Run tests with coverage report
uv run pytest tests/ --cov=src/databricks_advanced_mcp --cov-report=term-missing --ignore=tests/test_workspace_ops_live.py

# Lint
uv run ruff check src/ tests/

# Type check
uv run mypy src/

建筑

src/databricks_advanced_mcp/
├── server.py              # FastMCP server + CLI entry point
├── config.py              # Pydantic settings from env vars
├── client.py              # Databricks SDK client factory
├── tools/                 # MCP tool implementations (43 tools across 13 modules)
│   ├── __init__.py        # Central registration of all tool modules
│   ├── sql_executor.py    # SQL execution (1 tool)
│   ├── table_info.py      # Table metadata (2 tools)
│   ├── dependency_scanner.py # Scan notebooks/jobs/pipelines (4 tools)
│   ├── graph_ops.py       # Build/query/refresh dependency graph (3 tools)
│   ├── impact_analysis.py # Impact analysis (1 tool)
│   ├── notebook_reviewer.py # Notebook review (1 tool)
│   ├── job_pipeline_ops.py  # Job & pipeline operations (6 tools)
│   ├── workspace_listing.py # Workspace listing (1 tool)
│   ├── workspace_ops.py   # Workspace mutations + read/delete (6 tools)
│   ├── catalog_ops.py     # Unity Catalog & schema management (5 tools)
│   ├── compute_ops.py     # Cluster management (5 tools)
│   ├── warehouse_ops.py   # SQL warehouse management (4 tools)
│   └── volume_ops.py      # Unity Catalog volumes (4 tools)
├── parsers/               # Code parsing engines
│   ├── sql_parser.py      # sqlglot-based SQL extraction
│   ├── notebook_parser.py # Databricks notebook cell parsing
│   └── dlt_parser.py      # DLT pipeline definition parsing
├── graph/                 # Dependency graph
│   ├── models.py          # Node, Edge, DependencyGraph data models
│   ├── builder.py         # Graph builder (orchestrates scans)
│   └── cache.py           # In-memory graph cache with TTL
└── reviewers/             # Notebook review rule engines
    ├── performance.py     # Performance anti-patterns
    ├── standards.py       # Coding standards checks
    └── suggestions.py     # Optimization suggestions

许可证

麻省理工学院

______________________________________________________________________

欢迎投稿！看 贡献.md 获取设置说明、PR清单和所需功能列表。