Azure OpenAI 入门教程
构建基于 LLM 的内部知识库问答机器人时，我们已探讨过基于文档和 SQL 数据库的对话机器人。不过，我们还可能希望从网页内容获取知识库信息，作为问答机器人的数据来源。本文将指导您如何解决网页内容作为数据源的问题。
首先，针对单个网页进行提问。在 LangChain 中，WebBaseLoader 提供了从指定网页加载文本数据的功能。通过加载，我们能以向量形式存储网页内容，之后利用链进行提问。以知乎文章为例，快速体验效果。
第一步，根据所用模型设置环境变量。如果是 OpenAI，只需设置 OpenAI API Key；如果是 Azure OpenAI，则需设置 type、api verseion、api base 和 api key。
第二步，使用 LangChain 的 WebBaseLoader，配置网页 URL 以加载文本。
加载后的 documents 包含网页元数据和文本。
第三步，对文档拆分并向量化。对于大量内容，使用 CharacterTextSplitter 按字符拆分，配合 Embedding 模型和向量数据库进行向量化存储。在 Azure OpenAI 情况下，注意配置。
第四步，初始化提问链，准备后续提问。指定提问使用的 LLM 模型、检索方式和向量内容。Azure OpenAI 使用时，通过 AzureChatOpenAI 初始化 RetrievalQA。
第五步，提问。直接调用链提问，问题被模型加载后返回答案。开启 langchain.debug 可查看运行细节。
对于多个网页提问，可以使用 WebBaseLoader 加载 URL 列表。对于网站根目录 URL，可使用 RecusiveUrlLoader 自动加载子集文档。
目前 RecusivUrlLoader 稳定性有限，建议自行获取 URL 列表进行加载。
以上步骤展示了如何使用 LangChain 和 Azure OpenAI 构建基于网页内容的问答机器人。掌握这些技术后，您将能更直观地解决问题，提升问答机器人的知识库获取能力。
多重随机标签