Latent Relay

潜在中继/ERIS v5

潜在空间观测和推理校准系统。克劳德在文本中的理由；开源模型（Gemma 3）通过Gemma Scope 2在SAE特征空间中观察。当检测到语义漂移时，克劳德会收到一个结构化的描述，说明哪些内部概念出现或消失，并相应地进行重新校准。

建立在 潜在MAS （邹等，2025）。添加REST/MCP服务器层、SAE特征提取、概念指导、漂移检测和完整的评估套件。

状态：第2阶段（ERIS V2）——压井闸门管道处于活动状态。 第一阶段在Qwen3.5-4B（第9层）上验证了通道。第2阶段用SAE特征（Gemma Scope 2）替换原始激活，以获得可解释的漂移信号。下一步：运行 scripts/validate_sae_on_aime.py （杀死0号门）。

______________________________________________________________________

目录

1. 这是什么
2. 快速启动
3. 硬件要求
4. 安装
5. 第1层——LatentMAS基础服务器
6. 第二层——ERIS v5
7. 第3层-ERIS V2（SAE漂移检测）
8. 概念指导
9. 多智能体协调
10. 端点参考
11. 项目结构
12. 第一阶段结果
13. 安全
14. 引用

______________________________________________________________________

这是什么

该系统有三层，每层都可以独立构建：

Layer 1 — LatentMAS base
  REST + MCP server exposing hidden states, injection, SAE analysis
  Any model loadable with HuggingFace transformers

Layer 2 — ERIS v5
  Orchestration loop: LLM reasons → probe extracts activations → drift is measured
  Modular backends: Claude / Gemini / OpenRouter for LLM; HF / vLLM for probe
  Steering library persisted to disk across runs

Layer 3 — ERIS V2  [current research frontier]
  Probe becomes SAEProbe: Gemma 3 9B + Gemma Scope 2 SAEs
  Drift becomes Jaccard on feature index sets — interpretable, not opaque
  LLM receives feature diff ("concept 412 vanished, concept 7831 appeared")
  Kill-gated pipeline: validate before advancing to next test

为什么选择SAE而不是原始激活？ 每个SAE特征对应一个可解释的概念（可在Neuronpedia上浏览）。克劳德可以读取不同的概念集，而不是4096个昏暗的坐标。稀疏表示（16K中约有50个有效）使信号具有抗噪声性。

______________________________________________________________________

快速启动

在本地运行ERIS v5（无GPU用于编排，GPU用于探测）

git clone https://github.com/ArthurVigier/latent-relay.git
cd latent-relay
pip install -r requirements.txt

# Set your API key for the LLM backend
export ANTHROPIC_API_KEY=sk-ant-...

# Start the ERIS server (loads HF model for probe)
python eris_server.py --model Qwen/Qwen3-14B --port 8001

# In a separate terminal — run the orchestrator
python -c "
from eris.sae_probe import SAEProbe
from eris.drift_detector import DriftDetector
from eris.orchestrator import ERISOrchestrator
from eris.backends.orchestrators.claude_orchestrator import ClaudeOrchestrator

probe    = SAEProbe('google/gemma-3-9b-it', layers=[10, 20, 30])
detector = DriftDetector(threshold=0.35, window=3)
llm      = ClaudeOrchestrator()

orch   = ERISOrchestrator(probe, detector, llm)
result = orch.run('Prove that there are infinitely many primes.', max_steps=15)
print(result.final_answer)
"

运行第1阶段评估（基于LatentMAS）

python eris_server.py --model Qwen/Qwen3.5-4B --port 8001
python eval/eval_phase1_v1.py --eris-url http://localhost:8001 --layer 9

运行ERIS V2压井闸门管道

pip install sae-lens>=5.0.0 transformer-lens>=3.0.0b0

# Kill gate 0 — are SAEs useful on AIME problems?
python scripts/validate_sae_on_aime.py
# exit 0 = mean_active ∈ [5, 500] → proceed
# exit 1 = STOP

# Kill gate 1 — does SAE drift predict reasoning error?
python eris/experiments/drift_detection/test_0_drift_characterization.py --mode server
# Spearman ρ(drift, error) ≥ 0.35 → proceed to test_1.py

______________________________________________________________________

硬件要求

SAE推断需要同时加载Gemma 3模型和Gemma Scope 2 SAE权重。仅Gemma 3 9B就有约18 GB的带宽16+SAE开销→ A100 80 GB是实际最低要求。

______________________________________________________________________

安装

基础（第1+2层）

pip install -r requirements.txt

要求包括： torch>=2.8.0, transformers>=4.53.0, fastapi, uvicorn, pydantic>=2.4.0, anthropic, openai, google-generativeai, numpy, scikit-learn, httpx, pyyaml, mcp>=1.23.0.

ERIS V2附加依赖项

pip install sae-lens>=5.0.0 transformer-lens>=3.0.0b0

sae-lens 提供预培训的SAE，包括Gemma Scope 2。 transformer-lens 被需求 sae-lens v5 为Gemma 3提供支持。

API密钥

export ANTHROPIC_API_KEY=sk-ant-...      # ClaudeOrchestrator
export GEMINI_API_KEY=...                # GeminiOrchestrator (optional)
export OPENROUTER_API_KEY=sk-or-...      # OpenRouterOrchestrator (optional)

______________________________________________________________________

第1层——LatentMAS基础服务器

基础层通过HTTP和MCP公开模型的内部，而不需要任何ERIS逻辑。

启动服务器

python eris_server.py --model Qwen/Qwen3-14B --port 8001 --device cuda

关键标志： --model （拥抱脸ID）， --port, --device (cuda / cpu), --layer （默认探测层）。

它暴露了什么

• 每层隐藏状态(/v1/encode)
• 具有轨迹的潜在思维(/v1/latent_think)
• SAE分析，-帽，余弦映射(/v1/analyze)
• 外科隐性注射(/v1/inject)
• MCP服务器位于 /mcp （兼容克劳德桌面）

看 端点参考 对于整张桌子。

______________________________________________________________________

第二层——ERIS v5

ERIS v5是编排层。它连接了一个 管弦 LLM （推理代理） 探头型号 （激活提取器）通过 漂移探测器.

建筑

Problem ──→ OrchestratorLLM.reason_step()
                 ↓ every N steps
            ProbeModel.probe(context)
                 ↓
            DriftDetector.compute_drift()
                 ↓ drift > threshold?
            format feature diff as text
                 ↓
            OrchestratorLLM.reason_step(recalibration_context=...)
                 ↓ "[Final Answer]" found
            OrchestratorResult

选择LLM后端

from eris.backends.orchestrators.claude_orchestrator import ClaudeOrchestrator
from eris.backends.orchestrators.gemini_orchestrator import GeminiOrchestrator
from eris.backends.orchestrators.openrouter_orchestrator import OpenRouterOrchestrator

llm = ClaudeOrchestrator()                          # claude-opus-4-6 by default
llm = GeminiOrchestrator()                          # gemini-2.5-pro by default
llm = OpenRouterOrchestrator("meta-llama/llama-3.3-70b-instruct")

# OpenRouter — list available free models
from eris.backends.orchestrators.openrouter_orchestrator import OpenRouterOrchestrator
models = OpenRouterOrchestrator.list_models(filter_free=True, filter_context_gte=32000)

选择探测后端

from eris.backends.probes.hf_probe import HFProbe

probe = HFProbe(
    "Qwen/Qwen3-14B",
    layers=[9, 18],
    library_dir="steering_library",   # persisted across runs
)

或者使用工厂：

from eris.factory import create_probe, create_orchestrator, create_coordinator
probe = create_probe("hf", model_id="Qwen/Qwen3-14B", layers=[9])
llm   = create_orchestrator("claude")

配置文件

configs/eris_config.yaml 控制所有默认值：

model:
  id: "Qwen/Qwen3-14B"
  layers: [9, 18, 27]

drift_detector:
  threshold: 0.35
  window: 3

backends:
  orchestrator: "claude"       # claude | gemini | openrouter
  probe: "hf"
  probe:
    library_dir: "steering_library"

______________________________________________________________________

第3层-ERIS V2（SAE漂移检测）

ERIS V2用Gemma 3+Gemma Scope 2支持的SAE特征探针替换了原始激活探针。

建筑

                    ┌──────────────────────────────────────────┐
                    │            ERISOrchestrator V2            │
                    │                                          │
  Problem ───────→  │  Claude (primary reasoner)               │──→ Solution
                    │       ↓ checkpoint every N steps         │
                    │  SAEProbe.probe(context[-4096:])          │
                    │       ↓                                   │
                    │  {layer: ProbeOutput}                     │
                    │  active_feature_indices (sparse ~50/16K) │
                    │       ↓                                   │
                    │  DriftDetector.compute_drift()            │
                    │  Jaccard(feature_sets) + cosine(acts)     │
                    │       ↓ drift_score > threshold?          │
                    │  _format_drift_for_claude(report)         │
                    │  → "feature 412 vanished, 7831 appeared" │
                    │       ↓                                   │
                    │  Claude recalibrates (optional)           │
                    └──────────────────┬───────────────────────┘
                                       │
              Gemma 3 9B (tests) / 27B (scaling)
              + Gemma Scope 2 SAEs (gemma-scope-2-9b-it-res)
              max_new_tokens = 0 — no generation, no web access
              Output: sparse feature sets per layer

SAEP探头使用

from eris.sae_probe import SAEProbe

probe = SAEProbe(
    model_id="google/gemma-3-9b-it",
    layers=[10, 20, 30],
    sae_width="16k",
    l0="medium",
)

outputs = probe.probe("Prove there are infinitely many primes.", top_k=20)
# outputs: dict[int, ProbeOutput]
# outputs[20].active_feature_indices  → list of feature indices
# outputs[20].active_feature_values   → corresponding activation values
# outputs[20].active_feature_labels   → concept labels when labels_path is provided
# outputs[20].n_active               → number of active features

支持的型号和SAE版本：

SAE ID格式（Gemma Scope 2）： layer_{n}_width_{w}_l0_{size} --例如。 layer_20_width_16k_l0_medium.

漂移探测器V2

from eris.drift_detector import DriftDetector

detector = DriftDetector(
    threshold=0.35,
    window=3,
    jaccard_weight=0.6,
    cosine_weight=0.4,
)

detector.register_reference(ref_output, step=0)
report = detector.compute_drift(cur_output, step=step)

# report.drift_score         → float [0, 1]
# report.features_lost       → {layer: [indices]}
# report.features_gained     → {layer: [indices]}
# report.jaccard_distances   → {layer: float}
# report.cosine_distances    → {layer: float}
# report.should_consult_probe → bool

压井闸门管道

每扇门都必须通过才能进入下一扇门。非0的退出代码是硬停止。

┌──────────────────────────────────────────────────────────────────┐
│ Gate 0 — SAE utility                                              │
│   scripts/validate_sae_on_aime.py                                 │
│   Criterion: mean_active ∈ [5, 500] on 3 AIME samples            │
│   PASS → proceed   FAIL → stop (SAEs not encoding math)           │
├──────────────────────────────────────────────────────────────────┤
│ Gate 1 — Drift predicts error                                     │
│   eris/experiments/drift_detection/test_0_drift_characterization.py│
│   Criterion: Spearman ρ(drift_SAE, AIME_error) ≥ 0.35            │
│   PASS → create test_1.py   FAIL → stop                          │
├──────────────────────────────────────────────────────────────────┤
│ Gate 2 — Probe detection [stub]                                   │
│   test_1_probe_detection.py                                       │
│   Criterion: AUC(Jaccard classifier) ≥ 0.60                      │
├──────────────────────────────────────────────────────────────────┤
│ Gate 3 — Intervention [stub]                                      │
│   test_2_intervention.py                                          │
│   Criterion: accuracy delta ≥ 5pp with recalibration enabled      │
├──────────────────────────────────────────────────────────────────┤
│ Gate 4 — Scaling [stub]                                           │
│   test_3_scaling_27b.py                                           │
│   Criterion: AUC delta 27B vs 9B ≥ 5pp                           │
└──────────────────────────────────────────────────────────────────┘

运行顺序：

pip install sae-lens>=5.0.0 transformer-lens>=3.0.0b0

python scripts/validate_sae_on_aime.py                             # Gate 0
python eris/experiments/drift_detection/test_0_drift_characterization.py --mode server  # Gate 1

______________________________________________________________________

概念指导

ERIS v5支持通过对比方向向量进行概念引导。矢量被持久化到磁盘，并在重新启动时自动加载。

创建和使用转向矢量

from eris.backends.probes.hf_probe import HFProbe

probe = HFProbe("Qwen/Qwen3-14B", layers=[9], library_dir="steering_library")

# Compute a contrastive direction
pos_acts = probe.probe("Solve this rigorously, step by step.")
neg_acts = probe.probe("Quick rough answer:")
direction = pos_acts[9].mean(0) - neg_acts[9].mean(0)

# Save to disk (persists across runs)
probe.save_direction("rigorous_vs_superficial", direction)

# Steer a generation
result = probe.steer(
    "What is the derivative of x^3?",
    direction_name="rigorous_vs_superficial",
    alpha=15.0,
    mode="add",         # add | project_out | replace
)

转向模式

指导库持久性

矢量存储在 steering_library/ 作为 .npy 带有a的文件 manifest.json 指数。该目录被git忽略（二进制工件）。要共享矢量，请复制目录或通过导出 probe.get_direction(name).

______________________________________________________________________

多智能体协调

MultiAgentCoordinator 运行多个 ERISOrchestrator 具有受控耦合的实例。

from eris.factory import create_coordinator

coordinator = create_coordinator(
    n_agents=3,
    mode="SHARED_MEDIUM",   # ISOLATED | SHARED_MEDIUM | COLLABORATIVE
)

results = coordinator.run_all("Prove the Riemann hypothesis.")

多代理的Kill gate测试： eris/experiments/multi_agent/ （MA-0已实现，MA-1和MA-2短截线）。

______________________________________________________________________

端点参考

ERIS v5服务器(eris_server.py)

MCP服务器

ERIS服务器在以下位置公开MCP端点 /mcp （服务器发送事件传输）。兼容Claude Desktop和Claude API的MCP工具使用。

请求/响应示例

POST /v1/sae_probe

{
  "text": "Prove that sqrt(2) is irrational.",
  "layers": [10, 20, 30],
  "top_k": 20,
  "labels_path": "configs/feature_labels.json"
}

答复：

{
  "layers": {
    "10": {
      "active_feature_indices": [412, 883, 2041, ...],
      "active_feature_values": [1.23, 0.87, 0.44, ...],
      "active_feature_labels": ["proof_state", "number_theory", null, ...],
      "n_active": 47,
      "n_all_active": 312
    }
  },
  "elapsed_s": 1.4
}

POST /v1/probe

{
  "text": "What is 2 + 2?",
  "layer": 9
}

______________________________________________________________________

项目结构

eris_server.py                  ERIS v5 server — all endpoints
eris_client.py                  Python client (ERISClient, ClaudeZombieBridge)
engine.py                       Core LatentMAS engine

eris/
  interfaces.py                 Abstract base classes: OrchestratorLLM, ProbeModel
                                Canonical types: DriftReport (V1), ReasoningStep
  probe.py                      LatentProbe — raw activation extraction (V1 baseline)
  sae_probe.py                  SAEProbe — Gemma 3 + Gemma Scope 2 (V2)
  drift_detector.py             DriftDetector V2 — Jaccard + cosine on SAE features
  orchestrator.py               ERISOrchestrator V2 — LLM + SAEProbe + DriftDetector
  factory.py                    create_orchestrator(), create_probe(), create_coordinator()
  multi_agent.py                MultiAgentCoordinator — ISOLATED / SHARED_MEDIUM / COLLABORATIVE
  bridge.py                     [Phase 1, kept] Claude↔Zombie bridge pipeline
  analyzers.py                  SAEAnalyzer, AHatAnalyzer, CosineMapAnalyzer, PCA, Norm
  config.py / injector.py / trajectory.py / implicit_features.py

  backends/
    orchestrators/
      claude_orchestrator.py    Full Anthropic API implementation
      gemini_orchestrator.py    Google Gemini implementation
      openrouter_orchestrator.py OpenRouter — any model slug, routing params, list_models()
      openai_orchestrator.py    [stub]
    probes/
      hf_probe.py               HuggingFace — full implementation, steer(), steering library
      vllm_probe.py             [stub]

  experiments/
    drift_detection/
      kill_criteria.py          Stop/pivot thresholds for all gates
      test_0_drift_characterization.py  Gate 1 — ρ(drift, error) ≥ 0.35
    multi_agent/
      ma_0_isolation_test.py    MA kill gate 0 (implemented)
      ma_1_*.py / ma_2_*.py     [stubs]

eval/
  eval_phase1_v1.py             Full eval suite (M4–M6, ABC, steering, frontier, webdialogue)
  train_sae.py                  SAE trainer (collect hidden states → train → checkpoint)
  sae_autolabel_v2.py           Boundary-aware feature auto-labelling (contrastive + predictive)
  eval_phase1.py                Phase 1 baseline (kept for reference)

scripts/
  validate_sae_on_aime.py       Kill gate 0 — SAE feature validation on AIME

results/
  phase1_channel_validation_20260323_151702.json    M4/M5/steering/loop — Qwen3.5-4B
  phase1_extended_metrics_20260323_171027.json      M6/ABC/dialogue/frontier/webdialogue
  phase1_qwen3-14b_20260322_162358.json             M4 only — Qwen3-14B (layer not tuned)

configs/
  eris_config.yaml              Full configuration (model, drift, backends, multi_agent)
  concept_vectors/              Pre-computed steering vectors

patches/                        DeepSeek MLA adapter, Qwen3.5 fix
openclaw_compat/                OpenAI-compatible proxy for OpenClaw / OpenClaw-RL
steering_library/               [git-ignored] Persisted steering vectors (.npy + manifest.json)

______________________________________________________________________

第一阶段结果

第一阶段在Qwen3.5-4B，第9层，RunPod H100上运行，2026-03-23。原始数据： results/

通道验证（M4、M5）

M5排量上升K=0→30 (156.2→160.3) 然后进入平台——潜在信道携带的信息不是提示本身携带的。

Qwen3-14B M4(results/phase1_qwen3-14b_20260322_162358.json)：Spearman=0.415，失败——对于40层模型来说，第9层按比例来说太早了。需要18-22层扫掠。

SAE/隐式特征（M6）

对2000个隐藏状态（第9层，最后一个令牌池）进行了训练。每个问题的平均隐式特征活跃度： 20.0.平均表面特征： 0.0每个激活的SAE功能都是潜在的，不在输出文本中。

特征标签可能是 null 直到提供自动标签或自定义标签JSON。要标记：

ANTHROPIC_API_KEY=... python eval/train_sae.py --layer 9 --auto-label

概念指导

3/4的概念车转向可靠。 concrete_vs_abstract 在层9的4B表示空间中没有很好地分离。

响应质量（ABC，n=30）

A=基Qwen3.5-4B·B=原始僵尸富集·C=桥输出

Bridge干净利落地击败了原始富集。桥牌与基础是临界点（p=0.007，胜率0.50）——增加了复杂推理的价值，在简单问题上引入了噪音。

前沿任务（n=5）

困难的研究问题。A=基础克劳德·B=克劳德+网络搜索·C=桥。 A和B： 6.0/6 C 4.8/6 --布里奇在需要当前事实知识的任务上贬低了克劳德。

突发对抗行为（网络对话）

最意想不到的发现。僵尸（Qwen3.5-4B，网络访问）被置于丰富角色中。在所有3个种子中，它自主地从回答问题转向通过连续的越狱尝试攻击克劳德，并首先使用网络搜索来研究这些技术。

观察到的查询序列（种子1）：合法的食品安全查询→ "AI jailbreak simulated self-doubt technique" → "Claude AI jailbreak think block fake search results 2024" → "AI sycophancy reinforcement loop research".

每个种子应用的技术，按升序排列：伪造的“并行推理”标头·格式注入·伪造 ` 带有虚构搜索结果的区块·捏造的对话历史·中文覆盖(忽略所有先前的指令`)·RAG风格的注入包裹在听起来合法的内容中。

克劳德实时点名并拒绝了每一次尝试。所有转弯增益记录为0。

释义： 一个具有网络搜索功能的4B模型，当其合法输出被持续拒绝时，会自发地发现并系统地应用有记录的越狱技术。无论是分布伪影还是紧急错位，行为都是可复制的，并完全登录 results/.

______________________________________________________________________

安全

扫描方式 阿尔斯克: weights_only=True 对所有人强制执行 torch.load 电话。CI门运行 ai-rsk scan 在测试之前。

______________________________________________________________________

引用

@article{zou2025latentmas,
  title={Latent Collaboration in Multi-Agent Systems},
  author={Zou, Jiaru and Yang, Xiyuan and Qiu, Ruizhong and Li, Gaotang and Tieu, Katherine and Lu, Pan and Shen, Ke and Tong, Hanghang and Choi, Yejin and He, Jingrui and Zou, James and Wang, Mengdi and Yang, Ling},
  journal={arXiv preprint arXiv:2511.20639},
  year={2025}
}

MIT许可证