LLM 编程与 OpenAI API

学会用 OpenAI API 实现三件事：交互 → 构建 → 嵌入打造自己的 LLM 应用。

一、LLM 编程的基础

• 大模型通过 API、平台、第三方库 供开发者使用
• 主流 API：
• OpenAI API
• Meta LLaMa 3 API
• Google Gemini（Vertex API）

二、API 的作用

1. 编写复杂多轮查询
2. 提取结构化结果，供代码直接使用
3. 辅助编写 / 修复代码
4. 定制领域专用模型
5. 嵌入到自己的网站 / APP 中

三、为什么要用 API，而不是网页版 ChatGPT？

• 支持复杂、连续、可复现的逻辑
• 结果可直接被程序调用，不用复制粘贴
• 可自动化、可集成进业务系统

四、OpenAI API 三大核心功能

1. Interact（交互）
   ：提问、对话、数据分析
2. Build（构建）
   ：为企业 / 场景定制专属 LLM
3. Embed（嵌入）
   ：无缝集成到网页 / APP，用户无感知

五、Domain Tailoring 领域定制

• 让 LLM 专注特定行业知识（航空、零售、客服等）
• 优先用领域知识回答，无答案时再用通用知识
• 例子：航空公司改签、梅西百货退货规则

六、使用 OpenAI API 必备步骤

1. 注册 OpenAI 账号
2. 创建 项目（Project）
3. 生成 API Key（密钥）
4. 安全保存，绝不泄露

七、API Key 安全要点（非常重要）

• 不要写在代码里
• 不要分享给他人
• Colab：存到 Google Drive → Colab Notebooks 文件夹
• 本地：存在代码同目录的文本文件
• 被盗用会产生费用，由你承担

主流大模型 API

• OpenAI API（ChatGPT）
• Google Gemini API
• Meta LLaMa API

为什么必须用 API？

1. 把大模型集成到企业业务系统中
2. 让 AI 适配特定行业、特定公司的知识
3. 让通用大模型变成专用业务工具
4. 实现自动化、流程化调用

LLM 的本质特点

• 拥有通用知识，语言表达能力强
• 缺少企业专属知识
  （航班、财务、产品规则等）
• 必须通过 API 接入业务数据才能真正可用

API 的核心作用

1. 让 LLM 理解业务专属信息（如航班号、账单、退货规则）
2. 把通用 AI 变成行业专用 AI
3. 实现自然语言与业务数据的结合
4. 输出符合企业规则的回答

典型业务应用例子

API 是连接通用大模型与企业业务的桥梁，让 AI 从 “通用知识” 变成 “业务专用工具”。

1. 航空公司客服机器人
   识别航班号、查询到达时间、提供航司专属政策
2. 中小企业财务 / 发票系统
   适配企业专属账目、科目、流程
3. 电商 / 零售客服
   回答退货、换货、售后规则
4. 科学研究
   发现新蛋白质，提供人类想不到的结构
5. 医疗诊断
   跨科室综合判断，辅助医生
6. 无障碍、学习记录、搜索引擎、视频剪辑等

OpenAI API 编程

一、使用 OpenAI API 的前提

1. 注册 OpenAI 账号，获取 API Key
2. API 按 Token 收费，成本很低
3. Token：句子被拆分的单位，平均 4 个字符≈1 个 token
4. 必须安全保存 API Key，不可泄露、不可硬编码在代码里

二、API Key 安全使用规范

• 存入本地文件，代码从文件读取
• Colab：保存到 Google Drive 对应目录
• Jupyter：放在代码同目录
• 设置为系统环境变量，方便 LangChain、LlamaIndex 等库自动读取
• 防止他人盗用产生费用

三、使用 OpenAI API 的步骤

1. 挂载云盘
   （Colab 需要，Jupyter 不需要）
2. 读取 API Key并设置环境变量
3. 导入 OpenAI 库，创建客户端（client）
4. 构造 Prompt + Context（提示词 + 上下文）
5. 构造 messages（设定 system 角色 + user 提问）
6. 指定 模型（如 GPT-4）
7. 设置 temperature（温度值）
8. 调用 API → 获取返回结果 → 提取答案

四、关键参数解释

1. Context（上下文）

• 限定回答范围，让输出更精准
• 例：只回答夏季奥运会相关内容

2. Messages 结构

• system：设定模型角色 / 规则
• user：用户的问题 / 提示词

3. Temperature（温度）

• 0：输出精确、固定、不创新
• 越高：回答越随机、越有创意
• factual question（事实类问题）必须设 0

4. Model

选择 GPT 版本：GPT-3.5 / GPT-4 等

五、API 返回结果结构

• choices [0]：第一个（最准确）答案
• message.content：真正需要的文本回答
• prompt tokens / completion tokens：计费依据

六、代码优化：封装成函数

• 将 API 调用封装为 get_completion()
• 只需传入消息，即可快速获取回答
• 代码更简洁、可复用

1. API 让我们用代码调用 GPT
2. 必须安全管理 API Key
3. 用 context + temperature 控制回答质量
4. 从返回结果中提取 content 作为最终答案
5. 封装函数让调用更简单

一、核心知识点：API 如何实现 “记忆上下文”

1. 网页版 ChatGPT 会自动记住历史对话
2. 代码调用 API 是客户端 / 服务器模式，无自动记忆
3. 要让模型记住上下文，必须把历史对话一起传给 API
4. 每次提问都要带上：system 角色 + 历史 prompt + 历史回答 + 新问题

二、GPT 最实用能力：自动生成机器学习代码

• 给定任务：生成数据集、训练模型、输出评估指标
• GPT 可直接生成完整可运行的 Python 代码
• 支持：sklearn、TensorFlow、Keras 等常用库
• 典型场景：
• 生成随机样本数据
• 训练分类模型
• 输出 AUC 等评估指标

三、AUC（重要评估指标）

• 全称：Area Under Curve
• 作用：评估二分类模型效果
• 越接近 1 模型越好
• 随机猜测 = 0.5

四、多轮对话实现步骤（重点）

1. 设定 system 角色（如：机器学习专家）
2. 传入 第一轮问题
3. 获取 第一轮回答
4. 发起 第二轮问题时，必须带上全部历史对话
5. 模型才能理解上下文，给出连贯答案

五、关键注意事项

1. API 不会自动保存上下文，必须手动传递
2. GPT 生成的代码不一定完全正确，必须测试
3. 事实类问题：temperature 设为 0
4. 上下文越长，token 消耗越多，费用越高

用代码调用 GPT 必须手动传递上下文才能实现多轮对话；GPT 能快速生成机器学习代码，大幅提升开发效率。

一、原生 OpenAI API 的缺点（为什么要用 LangChain）

1. 只能返回纯文本字符串，不能直接执行代码、分析数据
2. 无法访问互联网 / 外部网页
3. 生成的代码可能出错，需要人工调试
4. 难以直接集成到业务系统
5. 上下文必须手动传递，使用麻烦

二、LangChain 是什么

• 一个用于构建大模型应用的 Python 框架
• 充当 LLM 和应用之间的中间层 / 代理（Agent）
• 支持 OpenAI、Gemini、LLaMA 等多种模型
• 能联网、读文件、分析数据、执行代码、自动处理上下文

三、LangChain 的核心作用

1. 让 LLM 直接操作数据（Pandas DataFrame）
2. 让 LLM 自动执行代码，不用复制粘贴
3. 简化多轮对话、上下文管理
4. 提供工具链：联网、搜索、数据分析、文件处理
5. 让大模型真正嵌入业务系统

四、LangChain 使用步骤

1. 安装依赖库
• langchain、langchain-openai、langchain-community 等
2. 初始化 LLM（如 ChatOpenAI）
• 设置 model、temperature=0.0
3. 创建 Agent（代理）
• 让代理充当 “专家”，替我们调用 LLM
4. 给代理分配任务
• 对话、数据分析、代码生成、表格处理
5. 调用 agent.invoke () 获取结果

五、LangChain 数据分析

可直接对接 Pandas DataFrame

1. 读取 CSV → 构建 DataFrame
2. 清理数据（dropna () 去除空值）
3. 创建 Pandas DataFrame Agent
4. 直接用自然语言查询数据
• “Describe the table”
• “How many rows are there?”
• “What’s the average age?”

关键参数

• allow_dangerous_code=True：允许执行代码（实验功能需要）
• verbose=True：显示代理执行过程（学习用）
• verbose=False：生产环境只输出结果

1. GPT 生成的代码不保证 100% 正确，必须测试
2. LangChain 仍在更新，实验性功能可能不稳定
3. Temperature=0 保证结果精确、稳定
4. API 按 token 计费，上下文越长费用越高

原生 API 功能有限，LangChain 作为代理框架，让大模型能直接分析数据、执行代码、接入外部工具，实现真正的业务级 AI 应用。

一、本节核心内容

在LangChain + OpenAI基础上，实现全自动数据分析、可视化、统计检验、机器学习建模，不用手动写代码。

二、LangChain 能做的高级任务

1. 数据可视化
   自动绘制分布图、对比图（如违约率 vs 教育程度）
2. 复杂数据筛选
   多条件查询：年龄 > 50、已婚、违约，并只输出指定列
3. 统计假设检验
   自动选择检验方法（卡方检验），给出结论
4. 特征工程
   自动做独热编码（One-hot Encoding）
5. 机器学习全流程
   划分训练集 / 测试集 → 训练逻辑回归 → 输出准确率

三、关键技术点

1. 自然语言 → 自动执行 Python

• 你用中文 / 英文提需求
• LangChain 自动生成并运行代码
• 直接返回图表、表格、结果，不用复制粘贴

2. 假设检验（重点）

• 原假设：教育程度对违约无影响
• 备择假设：教育程度对违约有影响
• 方法：卡方检验（Chi-square Test）
• 判断：p-value < 0.05 → 拒绝原假设

3. 特征工程

• 分类变量（职业、婚姻）→ One-hot Encoding
• 自动生成新数据表（regression data）

4. 机器学习建模

• 任务：逻辑回归（Logistic Regression）
• 数据分割：70% 训练 / 30% 测试
• 目标：预测是否违约（二分类）
• 本例结果：准确率 85.10%

四、LangChain + OpenAI 为什么强？

1. LangChain

1. 负责执行代码、处理数据、跑模型、画图
2. ChatGPT
   负责理解自然语言、生成代码、解释结果、输出文字
3. 两者结合实现 自然语言提问 → 自动分析 → 自然语言回答

五、重要注意事项

1. GPT/LangChain 生成的模型与代码必须验证
2. 可要求它输出完整 Python 代码，手动运行核对
3. 实验性功能可能报错，需要简单调试
4. 输出结果要明确限定格式，避免冗余内容

LangChain + OpenAI 可全自动完成数据可视化、筛选、统计检验、特征工程与机器学习建模，大幅提升开发与分析效率。

OpenAI API：图像与音频处理

学习用 OpenAI API 实现三类多媒体功能：

1. 生成图像
   （DALL·E 3）
2. 描述 / 理解图像
3. 生成音频
   同时复习 消息结构（role） 与 Token 计费。

三种角色（Role）API 对话必须用三种角色管理上下文：

1. system
   设定模型身份、任务、风格
• 例：你是书店销售员、图像分析师、Python 专家
2. user
   用户的问题 / 请求（prompt）
3. assistant
   模型的历史回复（用于多轮对话）

关键点：API 不会自动记忆上下文，必须把历史对话一起传入。

三、Token 与费用

• prompt tokens
  输入的词数（更便宜）
• completion tokens
  输出的词数（更贵）
• 可从返回结果里查看用量，估算成本
• 用 response ID 代替长文本 / 图像，可省 token、省钱

四、图像生成（DALL・E 3）

1. 调用方法：client.images.generate
2. 模型：dall-e-3
3. 输入：文字描述（prompt）
4. 参数：n=1

1. 提示词越详细，生成效果越好

五、图像理解（描述图片）

1. 不能直接传图片，必须先转 Base64 编码
2. 步骤：
1. 图片 → Base64 编码
2. 构造消息（system + user + 图片数据）
3. 调用 chat completions
3. 模型会输出：图片内容的文字描述

1. system 定角色，user 提问题，assistant 存历史
2. DALL・E 用于文生图
3. Base64 用于让模型读图
4. Token 决定成本，返回结果里可查看用量

OpenAI API 音频、视频与大模型通用开发

一、本节核心内容

1. 文本生成语音（Text-to-Audio）
2. 多轮音频对话（带历史 ID 追问）
3. 视频生成（Sora，暂无公开 API）
4. 大模型切换（OpenAI → DeepSeek / Gemini 等）
5. Temperature（温度）对输出的影响
6. 企业落地 LLM 应用的两大挑战

二、文本转语音（Text → Audio）

• 模型：GPT-4o Audio Preview
• 输入：文本问题
• 输出：Base64 编码音频
• 处理：解码 → 保存为 .wav
• 可追问：带上一轮回复 ID，实现多轮语音对话

三、视频生成（Sora）

• OpenAI Sora 可文本生成视频
• 但没有公开 API，只能在官网使用
• 无法在代码里集成调用

四、大模型切换非常简单

• OpenAI、DeepSeek、Gemini、Llama
   调用逻辑几乎一样
• 用 LangChain 封装后，切换模型只换客户端
• 提示词、代码结构不用重写

五、Temperature（温度）★

• 低温度（≈0）
  答案精准、稳定、保守、重复度高
• 高温度（≈1–1.5）
  答案更创新、多样、发散，甚至可能乱答
• 原理：控制下一个词的概率选择范围

六、企业做 LLM 应用的两个关键风险

1. 数据必须完整
   少数据 → 回答错误 → 可能赔偿巨额损失
2. 回答必须稳定一致
   同样问题不能出现不同答案→ 必须大量测试（QA）

API 能做文字、图片、音频，视频暂不可调用；模型随便换；温度控创意；落地关键：数据全、回答稳。