大语言模型的能力很强,但有一个致命缺陷:它不知道你私有数据里的内容。比如你想问它"我家小区的停车费标准是什么",它肯定答不上来,因为它从未训练过这些信息。 检索增强生成(RAG)解决了这个困境。它的思路很聪明:先用向量数据库存储你的私有文档,然后当用户提问时,先去数据库里"搜"到相关的片段,再把这些片段和用户问题一起喂给 LLM。这样 LLM 就能…
# 使用 Prompt 工程实现 LLM 可靠 JSON 输出实战指南 在日常开发中,让大语言模型输出结构化的 JSON 数据是基础能力,但很多开发者会遇到这样的问题:模型要么格式错误,要么在 JSON 中添加额外的解释性文本,导致解析失败。本文将详细介绍如何用 Prompt 工程技巧,让主流 LLM 稳定输出正确的 JSON 格式。 ## 一次失…
如果你经常调用 OpenAI API,应该会发现一个很现实的问题:对话越来越长,响应越来越慢,钱包也越来越空。每次请求都要把之前的上下文重新处理一遍,模型根本不管你之前说过什么。这种重复劳动不仅浪费时间,还浪费钱。 OpenAI 推出的 Prompt Caching(提示缓存)就是来解决这个问题的。把已经处理过的内容缓存起来,后续请求直接复用,不用…
# 让LLM稳定输出JSON:结构化提示词实战指南 ## 背景介绍 在使用大型语言模型(LLM)进行开发时,我们经常需要让模型输出结构化的数据格式,比如JSON。JSON不仅是程序内部数据交换的标准格式,也是API响应、配置文件、数据存储的基础。然而,直接让LLM输出JSON时,经常会遇到各种问题:输出格式不稳定、混入markdown代码块标记、包…
# Python + LangChain 本地 RAG 实战:让 AI 学你的知识 Ollama 跑通了,下一个问题是:怎么让它学会你自己的东西? 单纯跑模型,AI 一问三不知。你扔给它一份公司文档,它该不知道还是不知道。这时候该 RAG 上场了——Retrieval Augmented Generation,检索增强生成。听起来高大上其实就是那么…
# LLM Function Calling 实战指南:让 AI 模型调用外部工具 ## 背景介绍 大语言模型的能力边界在哪里?早期的 GPT 模型只能生成文本,无法获取实时信息,也无法执行具体操作。但现在,Function Calling 功能让 LLM 获得了"动手能力"——它可以根据用户需求调用外部 API、查询数据库、执行计算,甚至操作其他…
## 背景介绍 大语言模型(LLM)现在能说会写,但它们有个致命缺陷:知识会过期,而且只能"动嘴"不能"动手"。你想让它查个天气、执行个操作?门都没有。 Function Calling(函数调用)技术就是为了解决这个痛点。它让 AI 能够主动调用外部函数,获取实时数据、执行特定操作。换句话说,AI 不再只是个聊天机器,而变成了能真正干活的智能代理…
# 使用 Ollama 在本地运行大模型 + OpenWebUI 搭建私人 AI 助手完整指南 ## 背景 调用 OpenAI、Claude 这些云端大模型 API 确实方便,但有个问题始终让人膈应:隐私。把自己的数据发送到第三方服务器,说不担心那是假的。还有网络延迟、API 账单、以及某天服务突然不可用的风险。 所以最近越来越多人在聊「本地大模型…
## 背景介绍 在人工智能快速发展的今天,大语言模型(LLM)已经具备了强的自然语言理解和生成能力。然而,单纯依靠语言模型本身,我们很难让它执行具体的操作任务,比如查询数据库、调用外部API、发送邮件或者操作文件系统。这就是 Function Calling(函数调用)技术出现的背景。 Function Calling 是 OpenAI 在 202…
# 使用 LangChain + ChromaDB 构建本地 RAG 知识库问答系统 ## 背景介绍 企业日常运营中会产生大量的内部文档、技术手册、会议记录。当员工需要从这些海量文档中查找特定信息时,传统的关键词搜索效果往往不理想——它无法理解查询的语义意图,也无法处理自然语言提问。 检索增强生成(Retrieval-Augmented Gener…