Talk To Your Log Server

Contoso PoC-使用Azure AI与您的数据日志对话

概述

此概念验证演示了混合云架构，其中：

• 本地模拟（东南亚地区Azure中的4个虚拟机）:

- 电子商务虚拟机 --生成交易日志的简单网店（Nginx+Flask/Gunicorn） - Zabbix虚拟机 --使用web仪表板进行基础设施监控 - Elasticsearch虚拟机 --集中式日志存储 基巴纳 web UI和 日志收集处理工具 摄入 - 流式VM --AI聊天机器人前端（Streamlit）+MCP服务器后端

• Azure云服务：AI Foundry（GPT-4o+嵌入）+AI Search支持对所有操作日志进行自然语言查询

关键演示：客户浏览Contoso商店，将商品添加到购物车，结账→ 所有事件都记录到Elasticsearch→ 可在Kibana查看→ 通过矢量嵌入与Azure AI搜索同步→ 可通过自然语言查询（“今天显示失败的付款订单”）

认证

重要：Azure订阅强制执行 disableLocalAuth=true 认知服务。 所有代码使用 DefaultAzureCredential （VM上的Azure管理身份， az login 对于本地开发人员）。 Azure OpenAI的API密钥为 未使用 --the AZURE_OPENAI_KEY 领域 .env 是空的。 AI搜索仍然使用管理员密钥身份验证（AI搜索支持本地身份验证）。

建筑

┌─────────────────────────────────────────────────────────────────────────┐
│           ON-PREMISES SIMULATION (4 VMs in southeastasia)               │
│                                                                         │
│  ┌──────────────────┐                                                   │
│  │  E-Commerce VM   │   Nginx (port 80) → Flask/Gunicorn (port 5000)    │
│  │ ecommerce-web-01 │──┐ Purchase/cart/page logs                        │
│  └──────────────────┘  │                                                │
│                        │                                                │
│  ┌──────────────────┐  │  ┌─────────────────────────────────────┐       │
│  │   Zabbix VM      │──┼─>│  Elasticsearch VM                   │       │
│  │   Dashboard:     │  │  │  ES API:  http://:9200       │       │
│  │   http:///   │  │  │  Kibana:  http://:5601       │       │
│  │   zabbix         │──┘  │  Logstash (:5044, HTTP input)       │       │
│  │  (Admin/zabbix)  │     └──────────────┬──────────────────────┘       │
│  └──────────────────┘                    │                              │
│                                          │  Bulk sync (Python)          │
│  ┌────────────────────────────────────┐  │  + vector embeddings         │
│  │  Streamlit VM                      │  │                              │
│  │  MCP Server (:8080, 5 tools)       │:9200` /Kibana： `http://:5601` |
|Zabbix| `vm-zabbix` |监控服务器+网络仪表板| `http:///zabbix` （管理员/zabbix）|
|电子商务| `vm-ecommerce` |Nginx+Flask网店| `http:///` （浏览并购买）|
|流光灯+MCP| `vm-streamlit` |AI聊天机器人+MCP后端| Streamlit： `http://:8501` /MCP： `http://:8080` |

> 所有虚拟机：标准_B2ms、Ubuntu 22.04、SSH密钥认证、用户 `tccadmin`

## 你能看到的

### 1.Zabbix仪表板→ `http:///zabbix`

- **登录**：管理员/zabbix
- 监控所有虚拟机的CPU、内存、磁盘和网络
- 查看警报、事件历史和触发器状态

### 2.Kibana（Elasticsearch用户界面）→ `http://:5601`

- 浏览中的所有日志 `infrastructure-logs` 索引（800+文档）
- 使用 **发现** 浏览原始日志条目（infra+电子商务）
- 带有8个可视化效果的预构建仪表板（由自动创建） `check-health.sh`)

### 3.电子商务商店→ `http:///`

- 浏览产品目录（8个产品：电子产品，配件，家具）
- 将商品添加到购物车，输入名称，结账
- 约90%的支付成功率（10%模拟失败进行演示）
- 每个操作都会生成日志→ 弹性搜索→ 基巴纳

### 4.流媒体AI聊天→ `http://:8501`

- 自然语言查询：“显示今天所有失败的付款订单”
- 基础设施查询：“哪些服务器的CPU使用率高？”
- 用于基础设施+电子商务查询的快速操作按钮
- 由Azure AI Foundry（GPT-4o）+Azure AI搜索提供技术支持

## MCP服务器工具

后端通过模型上下文协议（MCP）流式HTTP传输公开了5个工具：

|工具|说明|数据源|
|------|-------------|-------------|
| `search_infrastructure_logs` |对所有索引日志进行语义+矢量搜索| Azure AI搜索|
| `analyze_log_data` |基于GPT-4o的日志模式分析| Azure AI Foundry|
| `get_recent_alerts` |查询Zabbix监控警报|Elasticsearch（直接）|
| `get_ecommerce_transactions` |查询电子商务购买/购物车/支付日志|Elasticsearch（直接）|
| `get_system_health_summary` |人工智能生成的健康报告（基础设施+电子商务）|合并|

## 数据摄取管道

### 电子商务→ 弹性搜索

Contoso Shop (Flask) → HTTP POST → Logstash (:5044) → Elasticsearch (infrastructure-logs)

### 弹性搜索→ Azure人工智能搜索

**批量同步（主）**：Streamlit VM上的Python脚本轮询所有ES文档，通过Azure OpenAI生成向量嵌入（text-embedding-ada-002），并推送到Azure AI搜索 `mergeOrUpload`.

**连续同步（可选）**: `ingestion/sync_es_to_ai_search.py` 每30秒轮询一次增量更新。

> **备注**：Azure功能应用程序(`func-tcc-poc-ingestion`)也部署了，但有一个容器重启循环。Streamlit VM上的批量同步方法是可行的解决方案。

## 快速开始

1. Deploy Azure infrastructure (4 VMs + AI services)

cd infra chmod +x deploy.sh ./deploy.sh

2. Run health check (fixes NSGs, starts VMs, sets up Kibana dashboard)

cd infra bash check-health.sh

3. Access services:

- Zabbix: http:///zabbix (Admin / zabbix)

- Kibana: http://:5601 (explore logs)

- E-Commerce: http:/// (browse & buy)

- Streamlit: http://:8501 (AI chatbot)

- MCP Server: http://:8080 (backend API)

4. (Optional) Run bulk sync to push all ES data to AI Search

ssh tccadmin@ cd /opt/tcc source venv/bin/activate python ingestion/bulk_sync.py

5. (Optional) Run local development

pip install -r backend/requirements.txt pip install -r frontend/requirements.txt

Ensure az login and managed identity / RBAC is configured

python backend/mcp_server.py & streamlit run frontend/app.py

## 先决条件

- Azure CLI已安装并通过身份验证(`az login`)
- Python 3.10+
- Azure订阅：
  - Azure AI Foundry（GPT-4o+文本嵌入ada-002部署）
  - Azure人工智能搜索（基本层）
  - 4个Azure虚拟机（标准_B2ms）
- **管理身份**：Streamlit VM必须具有系统分配的托管标识 `Cognitive Services OpenAI User` AI Foundry资源中的角色
- 地区： **东南亚** （VM+AI搜索）， **东亚** （AI铸造厂-GPT-4o全球标准）

## 文件夹结构

PoC/ ├── README.md # This file ├── ARCHITECTURE.md # Detailed architecture document ├── TASKS.md # Task tracking ├── .env.example # Environment variables template ├── .env # Actual environment variables (gitignored) ├── infra/ # Azure CLI deployment scripts │ ├── deploy.sh # Main deployment (runs all scripts) │ ├── destroy.sh # Tear down all resources │ ├── variables.sh # Environment variables / naming │ ├── 01-resource-group.sh # Resource group creation │ ├── 02-network.sh # VNet, subnets, NSGs │ ├── 03-onprem-vms.sh # ES+Kibana, Zabbix, E-Commerce VMs │ ├── 04-ai-search.sh # Azure AI Search + index + semantic config │ ├── 05-ai-foundry.sh # AI Foundry (GPT-4o + Embeddings) │ ├── 06-function-app.sh # Ingestion Function App (has restart issue) │ ├── 07-streamlit-vm.sh # Streamlit + MCP Server VM │ └── check-health.sh # Health check, recovery & dashboard setup ├── ecommerce-app/ # E-Commerce web application │ ├── app.py # Flask app (products, cart, checkout) │ ├── requirements.txt # Flask dependencies │ ├── nginx-ecommerce.conf # Nginx reverse proxy config │ └── ecommerce.service # systemd service unit file ├── ingestion/ # Elasticsearch → AI Search sync │ ├── sync_es_to_ai_search.py # Continuous sync (30s polling) │ ├── logstash.conf # Logstash config (HTTP input → ES) │ ├── config.py # Configuration │ └── requirements.txt # Dependencies (incl. azure-identity) ├── backend/ # MCP Server (5 tools) │ ├── mcp_server.py # FastMCP server (Streamable HTTP) │ ├── config.py # Configuration │ ├── requirements.txt # Dependencies │ └── tools/ │ ├── search_logs.py # AI Search (semantic + vector) │ ├── analyze_logs.py # AI Foundry GPT-4o analysis │ ├── zabbix_alerts.py # Zabbix alert query (ES direct) │ └── ecommerce_logs.py # E-Commerce transaction query (ES direct) ├── frontend/ # Streamlit UI │ ├── app.py # Streamlit chat app + MCP client │ ├── config.py # Configuration │ └── requirements.txt # Dependencies └── sample-data/ # Sample log data for testing ├── sample_logs.json # Infrastructure + e-commerce sample logs └── generate_logs.py # Log generator (infra + ecommerce entries)

## 预计成本（约330-380美元/月）

|资源|成本|
|----------|------|
|4个虚拟机（标准_B2ms）|~240美元|
|Azure人工智能搜索（基础）|~70美元|
|Azure OpenAI（GPT-4o+嵌入）|~20-40美元|
|功能应用+存储|~1-5美元|

## 健康检查和恢复(`infra/check-health.sh`)

一个诊断和自动修复整个环境的脚本：

bash infra/check-health.sh

|第节|它的作用|
|---------|-------------|
1.NSG规则|检查并重新创建 `AllowAllInbound` 在两个NSG上（Azure策略会删除它们）|
2.VM电源状态|检测已停止的VM并发送启动命令|
3.VM清单|列出所有具有公共/私有IP和电源状态的VM|
4.服务运行状况| SSH进入每个VM，检查systemd服务，自动重启失败的服务|
5.端点验证|在NSG修复后自动重试测试HTTP端点（ES、Kibana、Zabbix、电子商务、Streamlit、MCP）|
6.Zabbix凭据|通过API验证管理员登录，列出受监控的主机，自动注册丢失的主机（vm-ecommerce，vm-elasticsearch）|
7.Kibana仪表板|使用Kibana 8.x保存的对象API创建/重新创建8个可视化+仪表板|

**Kibana仪表板可视化：**

- 日志严重性分布（圆环）、按主机列出的日志（条形图）、按服务列出的日志
- 日志时间线（行）、CPU指标（条形）、错误日志（直方图）
- 热门产品-购买量最高（酒吧），热门买家-订单量最高（甜甜圈）

## 已知问题

1. **函数应用容器重启循环**: `func-tcc-poc-ingestion` 成功部署，但进入启动/停止循环。绕过直接在Streamlit VM上运行批量同步。
1. **NSG规则**：Azure策略条 `AllowAllInbound` 定期地。跑 `check-health.sh` 自动修复。

## 清理

az group delete --name rg-tcc-poc --yes --no-wait