长链-MCP(注:MCP可能代表某种特定的分子、化合物或技术,具体含义需根据上下文确定,此处仅作一般性翻译)
里程碑1:流式响应(打字机式体验) 🎯 目标
启用后端到前端的流式响应,使用户能够在AI生成回复的同时看到回复内容,类似于ChatGPT中的打字效果 。
🧭 功能分解 特性 描述 状态
- LLM 流式处理功能 使用 stream() 来从 LLM 中流式传输令牌 ✅
- FastAPI 流式路由 返回 StreamingResponse 而不是一次性文本 ✅
- 跨域资源共享(CORS)支持 允许前端(React)访问来自其他源的API ✅
- 在 React 中进行 Fetch 流式处理 使用 ReadableStream 消费令牌流 ✅
- 实时输出渲染 实时追加流式文本 ✅
- 加载状态:在进行中时禁用按钮并显示“正在流式传输…” ✅
- 错误处理 在失败时显示错误信息 ✅
- 自动滚动 在流式传输时保持输出框滚动到底部 ✅
- 文档 这个README 😎 ✅
🛠 技术栈
后端:FastAPI + LangChain(Azure OpenAI)
前端:React + Fetch API 流式传输
大型语言模型(LLM):通过Azure OpenAI服务的GPT-4.1-nano
样式:自定义CSS(深色模式界面)
