一直认为人工智能的本质其实就是：算法+算力+大数据。算法的尽头是数学，算力是能源、而大数据则是人类共同智慧的而且是有限的宝贵资源，也是决定大模型的能力上限。

人工智能不断的发展，也是人类文明进步的必然趋势，人工智能时代也被称为第四次工业革命，也是信息时代的发展的必然结果，信息时代为为人工智能的发展提供了数据处理基础。

不管人工智能应用如何变化，各种应用背后的本质其实就是程序代码。只不过结合了大模型，让应用变得更加高效和智能。

不管是智能体、还是工作流，以及火热的MCP，本质也是更加高效的程序代码。

程序代码是人类连接物理世界的工具和方式。

从目前来看，通用人工智能离我们还是有大的一段距离，至少目前，还难实现。目前最多也只能是实现任务的高度自动化。

在很长一段时间，人们都会在构建通用或垂直领域的大模型应用，来满足人类的工作、学习等各种需求。

下面整理一下构建大模型应用的课程纲要

构建大模型应用：Building an LLM application

目录

• 一、使用语言大模型 Using LLMs
• 二、构建智能体 Building agents
• 三、构建工作流 Building Workflows
• 四、构建增强检索生成 Building a RAG pipeline
• 五、结构化数据提取 Structured Data Extraction
• 六、评估 Evaluating
• 七、模型上下文协议 MCP
• 八、整合所有内容 Putting It All Together

一、使用语言大模型 Using LLMs

1. 定义大模型 使用 OpenAI 模型进行初始化。
2. 模型对话输出 实现简单的文本对话。
3. 模型对话流式输出 实现实时流式文本输出。
4. 模型对话 chat (流式输出) 使用聊天消息格式实现流式对话。
5. 多模态模型 结合图像和文本进行多模态对话。
6. 工具调用 定义并调用自定义工具（如阶乘函数）。
7. 本地模型 使用本地部署的模型进行对话。

二、构建智能体 Building agents

1. 智能体 FunctionAgent 创建一个能够执行数学计算的智能体。
2. 智能体上下文 管理智能体的上下文信息并进行对话。
3. 智能体流式输出 实现智能体的流式输出。
4. 用户参与：Human in the loop 在危险任务中引入用户确认机制。
5. 多个智能体 AgentWorkflow：Multi-agent 构建一个多代理系统，包含诗人和评论家两个角色。

三、构建工作流 Building Workflows

1. 基本工作流 Workflow 创建一个简单的异步工作流。
2. 工作流上下文 在工作流中管理上下文信息。
3. workflow 工作流实例 获取摄像头图像并描述图像内容。
4. workflow 工作流实例（流式输出） 实现获取摄像头图像并流式输出描述结果。

四、构建增强检索生成 Building a RAG pipeline

1. 文档向量存储 使用 ChromaDB 存储文档向量。
2. RAG 向量查询 Query Engine 配置检索器和响应合成器以实现向量查询。
3. RAG 向量查询（流式输出） 实现流式输出的向量查询。
4. RAG 向量查询，Chat Engine 上下文对话，流式输出 结合上下文对话引擎实现流式输出。
5. RAG 向量查询，上下文持久记忆 实现带有持久记忆的上下文对话。

五、结构化数据提取 Structured Data Extraction

1. 使用结构化大模型 Using Structured LLMs 定义发票数据模型。
2. 从 PDF 文件中读取文本 使用 PyMuPDFReader 读取 PDF 文件内容。
3. 结构化 LLM 使用结构化 LLM 提取发票信息。
4. 结构化预测 Structured Prediction 根据提示提取结构化信息。

六、评估 Evaluating

1. 响应评估 评估模型生成的响应是否忠实于输入数据。
2. 检索评估 评估检索器的性能指标（如 MRR 和命中率）。

七、模型上下文协议 MCP

1. MCP Agent (langchain+mcp_use) 使用 MCP 协议创建智能体以处理复杂任务。
2. Web服务 API 示例代码 实现基于高德地图 API 的位置信息服务，并结合大模型进行分析。

八、整合所有内容 Putting It All Together

• 总结 整合所学知识，构建一个完整的大模型应用。可以集成到下游的全栈 Web 应用程序中，或直接在 Gradio、Streamlit 的框架中使用。

说明：课程有详细的实例代码。有需要的可以私信