最新AI框架实战教程：除LangChain、LangGraph外的探索与协作

一、引言

在人工智能（AI）技术飞速发展的当下，各种AI框架如雨后春笋般涌现，为开发者提供了丰富的选择。LangChain和LangGraph作为其中的佼佼者，已经在AI应用开发领域展现出强大的实力。然而，AI世界的精彩远不止于此，还有许多其他优秀的框架等待我们去探索。本教程将深入介绍除LangChain、LangGraph外的最新AI框架，并详细阐述它们如何相互配合，以构建更强大、更智能的AI应用。

二、常见AI框架概述

2.1 TensorFlow

TensorFlow是Google开发的一个开源机器学习库，为研究和生产的机器学习应用程序提供了一个全面的平台。它具有以下主要特性和功能：

  • 架构灵活：支持CPU和GPU计算无缝切换，能够根据不同的硬件环境进行优化。

  • 可视化工具：TensorBoard支持详细的模型检查和调试，帮助开发者更好地理解模型的训练过程。

  • 生产就绪：可跨移动、边缘和云平台部署模型，适用于各种实际应用场景。

  • 社区支持：拥有丰富的文档和活跃的开发者社区，方便开发者获取帮助和分享经验。

  • 预先训练的模型：提供大量可立即使用的模型库，节省了开发者的时间和精力。

在实施TensorFlow时，建议将代码重构为更小、更易于管理的函数，并使用@tf.function修饰最大的计算块以获得最佳性能。对于模型开发，可利用Keras API进行高级模型构建，同时在需要时保持对低级TensorFlow操作的访问。

2.2 PyTorch

Meta AI的PyTorch以其直观的设计和动态计算能力彻底改变了AI框架格局，受到研究人员和开发人员的喜爱。其架构以动态计算图系统（称为Autograd）为中心，该系统可在开发阶段实现实时模型调整。PyTorch的核心组件包括：

  • 张量运算：利用GPU加速的高级数学计算，提高计算效率。

  • 神经网络模块：提供预建和可定制的网络层，方便开发者构建各种神经网络模型。

  • 优化器：用于模型训练的复杂算法，帮助模型更快地收敛。

  • 数据实用程序：高效的数据加载和预处理工具，简化了数据处理流程。

在PyTorch中进行开发，遵循自然的Pythonic方法，典型的工作流程包括数据准备和模型开发两个阶段。数据准备阶段需要将输入数据转换为PyTorch张量，创建自定义数据集和数据加载器，并应用必要的预处理转换。模型开发阶段则使用torch.nn定义网络架构，实现前向传递计算，配置损失函数和优化器。

2.3 Hugging Face Transformers

Hugging Face Transformers库处于人工智能民主化的前沿，通过其全面的工具和模型生态系统，让全球开发人员能够使用先进的自然语言处理。该框架的核心功能包括：

  • 预先训练的模型中心：拥有数千个可立即使用的模型，涵盖了各种自然语言处理任务。

  • 与PyTorch和TensorFlow无缝集成：可以与这两个流行的深度学习框架结合使用，方便开发者进行模型训练和部署。

  • 高级标记和预处理工具：提供了丰富的工具，帮助开发者对文本进行标记和预处理。

  • 内置对迁移学习的支持：支持迁移学习，能够利用预训练模型的知识来加速新模型的训练。

  • 全面的文档和社区资源：提供详细的文档和活跃的社区，方便开发者学习和交流。

实现Hugging Face Transformers遵循一种简单的方法，从模型选择开始，然后通过微调和部署进行扩展。为了获得最佳结果，开发者应专注于利用AutoClass系统，该系统可自动处理模型架构细节并在不同模型类型之间提供一致的接口。

2.4 LlamaIndex

LlamaIndex旨在弥补数据与大型语言模型之间的差距，它作为一个强大的数据框架出现，改变了开发人员构建情境感知型AI应用程序的方式。该框架的架构以其复杂的数据处理和检索功能为中心，具有以下特性和功能：

  • 数据连接器（LlamaHub）：用于多源集成，能够连接各种数据源。

  • 高级文档操作：支持插入、删除、更新等操作，方便对文档进行管理。

  • 多文档合成功能：可以将多个文档合成一个文档，提高文档处理效率。

  • 查询引擎选择的路由器功能：根据查询需求选择合适的查询引擎。

  • 矢量存储集成和ChatGPT插件支持：支持矢量存储和ChatGPT插件，增强了数据的存储和检索能力。

  • OpenAI函数调用API兼容性：与OpenAI函数调用API兼容，方便与其他系统进行集成。

LlamaIndex的开发工作流程采用两阶段方法，可优化数据处理和查询。在数据处理阶段，框架将知识库划分为可管理的块，并存储为“节点”对象，这对于处理LLM的令牌限制至关重要。查询过程包括节点集合和响应综合两个步骤，根据查询上下文收集相关数据，并使用LLM集成生成上下文丰富的答案。

2.5 AutoGen

AutoGen是由微软与宾夕法尼亚州立大学和华盛顿大学团队携手打造的智能体协作框架，于2023年10月正式发布。其设计初衷是辅助开发者创建基于大型语言模型的复杂应用程序，通过多个智能体之间的协作与互动，使得任务处理更加智能化与灵活。AutoGen具有以下主要特性：

  • 多智能体协作：支持不同大型语言模型的整合，允许创建代理网络，任一代理能够独立工作或与其他代理联合合作。

  • 代码自动生成与执行：AI代理可实现代码生成、执行与调试，在软件开发和数据分析中尤为重要。

  • 外部工具整合：具备与外部工具、服务及API的交互能力，显著扩展代理的功能。

  • 可插拔组件：系统支持通过可插拔组件进行个性化定制，包括代理、工具、记忆和模型。

在基本使用方面，AutoGen同时支持Python和.NET，开发者可以配置代理，在执行特定任务前请求人类用户的指导或批准。代理通过异步消息通进行沟通，支持事件驱动和请求/响应交互模式。例如，使用Pip命令安装pyautogen库，然后创建AssistantAgent和UserProxyAgent，并使用GroupChat来管理多个智能体的协作。

2.6 Camel-AI OWL

OWL（Optimized Workforce Learning）是由Camel-AI推出的多智能体协作框架，基于CAMEL-AI平台构建。它采用角色扮演的多智能体交互机制，能够动态分配任务给不同代理，以模拟人类团队协作完成复杂任务。其核心架构与技术具有以下特点：

  • 模块化程度高：内置大量工具插件，通过MCP协议层充当统一接口，让各种模型与工具标准化交互。

  • 支持异步浏览器自动化：基于Playwright实现异步浏览器自动化，以及多模态处理等功能，代理具备多线程/并行处理能力。

  • 内置Web UI：基于Gradio提供内置Web UI，方便与多代理系统交互。

  • 强调动态代理交互：通过强化代理通信模式，实现更自然高效的任务自动化。

OWL提供丰富的工具集和能力，涵盖实时网络搜索、多模态数据处理、浏览器自动操作、文档解析、代码执行等。其Model Context Protocol (MCP)使代理能灵活调用上述工具并处理上下文。此外，OWL带有交互界面，支持模型快速切换、环境变量配置，以及任务历史记录查询等。

2.7 OpenManus

OpenManus是为复现商业Manus AI而生的开源框架，宗旨是在无需官方邀请码的情况下，让用户拥有自己的通用AI代理。它的运行采用自动循环的单智能体方案，用户在终端输入任务，OpenManus由主代理根据任务规划步骤并调用工具执行，循环这一过程直至完成目标。其核心架构与技术具有以下特点：

  • 极简和开源协作：由MetaGPT社区成员在短短3小时内原型实现，强调开源协作。

  • 引入MCP工具调用版本：参考了Camel-AI等项目的通用协议理念，引入了MCP工具调用版本。

  • 尝试多智能体工作流：已尝试多智能体工作流，让不同代理分担规划与执行，但该部分仍不够稳定。

  • 强化学习亮点：团队联合学界推出了OpenManus-RL子项目，探索基于PPO等强化学习对LLM代理的调优。

OpenManus支持实现Manus AI展示的大部分功能，如自动上网浏览、读取文件系统和编写调试代码等。其工具调用主要围绕浏览器和终端，可处理一定的多模态输入，并提供配置文件让用户灵活切换模型。

2.8 CrewAI

CrewAI是专为构建多智能体系统设计的框架，本质上是一个“智能团队管理系统”。与传统依赖单一大模型完成所有任务的AI应用不同，CrewAI采用类似企业团队分工协作的思路。其框架主要由三个核心组件构成：

  • Agent（智能代理）：特定领域的“专家”，拥有明确的身份、目标和工具。

  • Task（任务）：指派给Agent的具体工作，包含任务描述、输入数据和预期输出。

  • Tool（工具）：Agent可以调用的功能模块，如数据处理函数、外部API等。

这三个组件由Crew（团队）统一管理，Crew负责编排任务流程、分配任务给合适的Agent，并处理Agent之间的数据传递。在开发过程中，可能会遇到自定义工具的设计、工具脚本的调试、task的编排与上下文传递、agent的提示词设计与错误处理等技术难点，需要开发者根据实际情况进行解决。

2.9 Ollama

Ollama是一款开源的本地大语言模型(LLM)运行框架，用于管理和运行语言模型。具有以下核心特点：

  • 开源可定制：采用MIT开源协议，开发者能自由使用、阅读源码并定制，可根据自身需求进行功能扩展和修改。

  • 多模型支持：支持Llama、DeepSeek-R1、Phi-4、Gemma 2等众多语言模型，用户无需为每种模型单独搭建环境，能轻松在不同模型间切换以满足不同任务需求。

  • 易于部署：提供主流操作系统安装包，没有技术背景的用户也可轻松部署。还支持Docker部署，进一步简化部署流程，方便在不同环境中快速搭建。

  • 高性能：通过动态加载等技术优化资源使用，在保证高质量语言处理能力的同时，能快速响应用户请求，减少处理时间，提高运行效率。

  • 可扩展性：支持自定义模型和插件系统，可扩展文件搜索、数学计算等功能，方便用户根据具体应用场景进行功能扩展。

  • 多平台支持：支持macOS、Windows、Linux等操作系统，还能在Linux的虚拟服务器上安装，满足不同用户在不同设备和系统上的使用需求。

2.10 Spring AI

Spring AI是一个由Spring官方社区推出的项目，旨在简化Java AI应用程序的开发。它具有以下定位与目标和技术特点：

  • 定位与目标：将Spring生态系统的设计原则（如可移植性和模块化设计）应用于AI领域，并推广使用POJO（Plain Old Java Object）作为AI领域应用程序的构建块。

  • 技术特点：基于Spring框架，允许开发者轻松将其集成到现有的Spring项目中；结合了先进的语义分析和自然语言处理技术，能够理解和处理用户的自然语言输入；提供简洁的API和注解，允许开发者根据自己的需求灵活地集成到项目中，并与其他人工智能技术结合；可以与数据库进行交互，帮助开发者将用户的自然语言查询转换为SQL查询，并执行相应的数据库操作。

Spring AI的功能包括大模型对接、模型解析、AIGC支持、调用能力、RGA插件和自然语言查询处理等。在使用Spring AI时，需要进行环境准备、创建项目并引入依赖、配置Spring AI、加载AI模型、编写业务逻辑以及进行测试与部署等步骤。

三、框架之间的配合使用

3.1 TensorFlow与PyTorch的配合

TensorFlow和PyTorch都是非常优秀的深度学习框架，它们在不同的场景下具有各自的优势。在一些复杂的AI项目中，可以结合使用这两个框架，充分发挥它们的长处。例如，在模型训练阶段，可以使用PyTorch的动态计算图系统进行快速迭代和调试，利用其灵活性和易于理解的特点来优化模型。而在模型部署阶段，可以使用TensorFlow的生产就绪特性，将模型部署到各种平台上，确保模型的稳定性和高效性。

另外，TensorFlow和PyTorch都支持与其他框架的集成，如Hugging Face Transformers。可以使用Hugging Face提供的预训练模型，结合TensorFlow或PyTorch进行微调，以满足特定的任务需求。例如，在自然语言处理任务中，可以使用Hugging Face的Transformer模型，利用TensorFlow或PyTorch进行训练和推理。

3.2 AutoGen与其他框架的协作

AutoGen的多智能体协作特性使其能够与其他框架进行很好的配合。例如，在软件开发项目中，可以将AutoGen与LangChain结合使用。LangChain可以提供模块化的工具和组件，帮助开发者构建复杂的AI应用程序。而AutoGen的智能体可以根据任务需求调用LangChain的工具和组件，实现自动化的软件开发流程。

同时，AutoGen还可以与Camel-AI OWL或OpenManus等框架协作。这些框架都提供了丰富的工具和功能，AutoGen的智能体可以通过调用这些工具和功能，完成更复杂的任务。例如，在信息检索任务中，AutoGen的智能体可以调用Camel-AI OWL的实时网络搜索工具，获取相关的信息。

3.3 多个框架构建复杂AI系统

在构建复杂的AI系统时，可以综合使用多个框架。例如，在一个智能客服系统中，可以使用LangGraph来管理对话流程，确保智能体在多轮交互中保持连贯性。同时，使用AutoGen的多智能体协作功能，让不同的智能体负责不同的任务，如问题分类、知识检索、答案生成等。还可以结合LlamaIndex来处理知识库，提供更准确的答案。

另外，为了提高系统的性能和效率，可以使用TensorFlow或PyTorch来进行模型训练和推理。例如，使用TensorFlow训练一个文本分类模型，用于对用户的问题进行分类。使用PyTorch训练一个生成模型，用于生成答案。最后，使用Spring AI将这些功能集成到一个Java应用程序中，方便进行部署和管理。

四、案例分析

4.1 智能客服系统

以下是一个使用多个框架构建智能客服系统的案例：

  • 框架选择：选择LangGraph来管理对话流程，AutoGen实现多智能体协作，LlamaIndex处理知识库，TensorFlow训练文本分类模型。

  • 系统架构：用户的问题首先通过LangGraph的对话管理模块进行处理，根据问题的类型和上下文，将问题分配给相应的智能体。AutoGen的智能体协作完成问题的分类、知识检索和答案生成等任务。LlamaIndex负责从知识库中检索相关的知识，为答案生成提供支持。TensorFlow训练的文本分类模型用于对问题进行分类，提高问题处理的效率。

  • 代码实现：以下是一个简化的代码示例，展示了如何使用这些框架构建智能客服系统。

# 导入必要的库
from langgraph.graph import StateGraph, START, END
from autogen import AssistantAgent, UserProxyAgent, GroupChat, GroupChatManager
from llama_index import GPTSimpleVectorIndex, SimpleDirectoryReader
import tensorflow as tf

# 初始化LangGraph
langgraph = StateGraph()
langgraph.add_node("start", lambda state: {"processed": True})
langgraph.add_node("classify", lambda state: {"question_type": "general"})
langgraph.add_node("search", lambda state: {"answer": "This is an answer."})
langgraph.add_edge(START, "start")
langgraph.add_edge("start", "classify")
langgraph.add_edge("classify", "search")
langgraph.add_edge("search", END)

# 初始化AutoGen
assistant = AssistantAgent("assistant", system_message="You are a helpful AI assistant.")
user_proxy = UserProxyAgent("user_proxy", code_execution_config={"work_dir": "coding", "use_docker": False})
agents = [assistant, user_proxy]
groupchat = GroupChat(agents=agents, messages=[])
manager = GroupChatManager(groupchat=groupchat)

# 初始化LlamaIndex
documents = SimpleDirectoryReader('data').load_data()
index = GPTSimpleVectorIndex.from_documents(documents)

# 初始化TensorFlow
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu', input_shape=(10,)),
    tf.keras.layers.Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

# 运行智能客服系统
user_input = "How can I solve this problem?"
state = langgraph.invoke({"user_input": user_input})
question_type = state["question_type"]
answer = state["answer"]
print(f"Question type: {question_type}")
print(f"Answer: {answer}")

  • 效果评估：通过实际测试，该智能客服系统能够准确地处理用户的问题，提供及时、准确的答案。同时，系统的可扩展性和灵活性较高，可以根据不同的业务需求进行定制和优化。

4.2 数据分析项目

在一个数据分析项目中，可以使用以下框架来构建系统：

  • 框架选择：选择PyTorch进行模型训练，AutoGen实现智能体协作，LlamaIndex处理数据知识库。

  • 系统架构：用户提出数据分析的需求，AutoGen的智能体协作完成需求的理解、数据预处理、模型选择和训练等任务。PyTorch用于训练数据分析模型，如回归模型、分类模型等。LlamaIndex负责管理数据知识库，提供数据的存储和检索功能。

  • 代码实现：以下是一个简化的代码示例，展示了如何使用这些框架构建数据分析系统。

# 导入必要的库
import torch
import torch.nn as nn
import torch.optim as optim
from autogen import AssistantAgent, UserProxyAgent, GroupChat, GroupChatManager
from llama_index import GPTSimpleVectorIndex, SimpleDirectoryReader

# 定义PyTorch模型
class RegressionModel(nn.Module):
    def __init__(self):
        super(RegressionModel, self).__init__()
        self.linear = nn.Linear(10, 1)

    def forward(self, x):
        return self.linear(x)

model = RegressionModel()

# 初始化AutoGen
assistant = AssistantAgent("assistant", system_message="You are a data analysis expert.")
user_proxy = UserProxyAgent("user_proxy", code_execution_config={"work_dir": "coding", "use_docker": False})
agents = [assistant, user_proxy]
groupchat = GroupChat(agents=agents, messages=[])
manager = GroupChatManager(groupchat=groupchat)

# 初始化LlamaIndex
documents = SimpleDirectoryReader('data').load_data()
index = GPTSimpleVectorIndex.from_documents(documents)

# 训练模型
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

for epoch in range(100):
    inputs = torch.randn(10)
    labels = torch.randn(1)
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, labels)
    loss.backward()
    optimizer.step()

print("Model trained successfully.")

  • 效果评估：通过实际测试，该数据分析系统能够高效地完成数据预处理、模型训练和结果分析等任务。同时，系统的智能体协作功能提高了任务处理的效率和准确性。

五、总结与展望

5.1 框架总结

本教程介绍了除LangChain、LangGraph外的多个最新AI框架，包括TensorFlow、PyTorch、Hugging Face Transformers、LlamaIndex、AutoGen、Camel-AI OWL、OpenManus、CrewAI、Ollama和Spring AI等。每个框架都有其独特的特点和优势，适用于不同的应用场景。例如，TensorFlow适用于生产环境的模型部署，PyTorch适合科研和原型开发，AutoGen擅长多智能体协作，LangGraph专注于对话流程管理等。

5.2 协作优势

多个框架之间的配合使用可以充分发挥它们的长处，构建更强大、更智能的AI应用。通过框架之间的协作，可以实现任务的分工与协作，提高系统的性能和效率。例如，在智能客服系统中，不同的框架可以分别负责对话管理、问题分类、知识检索和答案生成等任务，使系统更加灵活和可扩展。

5.3 未来发展趋势

随着AI技术的不断发展，未来的AI框架将更加注重可扩展性、性能优化和易用性。同时，框架之间的集成和协作将更加紧密，形成一个更加完整的AI生态系统。例如，未来的框架可能会提供更多的预训练模型和工具，方便开发者快速构建AI应用。另外，AI框架也将更加注重与其他技术的融合，如物联网、区块链等，为各个行业带来更多的创新应用。

总之，掌握多个AI框架的使用和协作技巧，将有助于开发者在AI领域取得更好的成果。希望本教程能够为开发者提供一些有用的参考，帮助他们构建更加智能、高效的AI应用。

上一页LangGraph 实战深入教程

最后更新于