从数学与工程底层看懂大语言模型:它为何能对话、执行任务

引言

当下大模型早已融入日常聊天、代码开发、逻辑解题等各类场景。很多人将其视作“拥有智慧的人工智能”,也有人简单定义为“高级输入法”。本文抛开表象,从概率论、线性代数、神经网络三大数理根基出发,讲清大模型的本质、运行逻辑,以及提示词(Prompt)之所以生效的底层原因,并完整收录核心Prompt技术——CoT思维链的原理、分类与实战用法。

大模型的核心本质:自回归Token概率预测器

所有主流大语言模型(LLM)的终极目标只有一个:根据上文,预测下一个词元(Token)

用概率论公式表达为:

$P(w_n \mid w_1,w_2,...,w_{n-1})$

简单理解:给定一段前文,模型计算词表中每一个字词出现的条件概率,再按照概率随机采样输出内容,循环往复就形成了完整句子、段落甚至长篇文本。

它和手机输入法联想、文本补全属于同一类逻辑,区别仅在于模型规模、参数量、上下文理解能力呈指数级提升。大模型不存在主观理解、情绪与意识,全程是纯数学运算

两大数学基石

通用近似定理

深度神经网络是大模型的载体,而通用近似定理证明:具备足够神经元与非线性激活函数的网络,可以无限逼近任意连续函数。

人类语言、知识、语法、逻辑、代码规则,本质都是复杂的序列映射函数。大模型依靠千亿级参数,在海量数据中拟合出这些隐藏规律,这也是它能处理各类任务的理论前提。

线性代数:一切运算皆是向量与矩阵

人类文字无法直接被计算机计算,模型会通过嵌入层(Embedding) 将文字转为高维数字向量。

而作为模型骨架的Transformer架构,核心是缩放点积注意力机制

$Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$

依靠矩阵乘法、归一化、向量变换,模型捕捉文本中词语的关联关系、长距离上下文语义。

完整链路可概括:文字 → 向量 → 矩阵运算 → 概率分布 → 转回文字

训练阶段:模型如何“学会”知识与能力

大模型上线前会完成大规模预训练,这是它“会说话、会干活”的源头,分为两个核心环节:

1. 统计共现规律

模型遍历全网文本、书籍、代码、问答等万亿级语料,统计词汇、句式、逻辑的搭配概率。比如记住“前端”常搭配“React”,数学题干后常出现“分步计算”等序列特征。

2. 损失函数与反向传播

模型不断执行“预测下一词”的任务,对比标准答案计算误差(损失值),再借助微积分链式法则反向调整所有参数,让预测结果越来越贴合真实文本。

行业里的规模定律也由此而来:参数量、训练数据、计算资源越大,模型能存储的细粒度规律越多,综合能力也就越强。

Prompt工程的底层逻辑:重塑概率分布

我们使用的各类提示词技巧,本质都没有改变模型的核心任务,只是修改输入上下文,定向调整Token的概率分布。结合主流7类Prompt技巧,逐一拆解原理:

1. 设定角色与任务

在指令中定义身份、工作内容,会抬高对应领域词汇、句式的出现概率,约束输出风格与方向。

2. Few-shot示例示范

给出输入+输出样例,模型会复刻样例的格式、句式、排版,用字符序列规律锁定输出形态。

3. 结构化提示(列表/JSON/XML)

和示例逻辑一致,用固定结构限制Token排列顺序,避免自由生成带来的混乱。

4. 任务拆解

把复杂任务拆分为多个小步骤,将单次复杂预测拆成多次简单预测,减少长序列下的概率偏移。

5. 迭代优化

输出不符合预期时反复修改指令,本质是不断校准概率分布,直到匹配需求。

6. 系统提示词

会话初始就设定全局规则、边界与风格,相当于给模型加载一套永久的概率约束。

核心Prompt技术精讲:CoT思维链(完整原理+分类+实战)

CoT基础定义

思维链(Chain-of-Thought, CoT):核心Prompt范式,强制大模型在给出最终答案前,输出完整的中间推理步骤,把模型默认的“一步直接出结果”改为分步推导 + 结论输出

核心结构:问题 → 分步推理过程 → 最终答案

最初被提出的核心目的:解决大模型在数学计算、多步骤逻辑推理、复杂符号任务上准确率极低的问题。

CoT为什么能生效?(LLM底层概率原理)

基于大模型逐Token条件概率预测的本质:

- 直接作答:单次短序列预测,极易出现跳步、概率偏差、逻辑缺失;

- 开启CoT分步思考:人为拉长上下文链路,每一句推理文字都会成为下一段内容的强约束,将一个高难度复杂概率预测,拆解为多个简单、稳定的子预测。

同时CoT会强制激活模型内部推理、计算、逻辑类专属神经回路,唤醒模型的抽象泛化能力。

一句话本质:CoT = 用文字搭建推理脚手架,锁定概率路径,防止模型逻辑跑偏

主流CoT两大核心类型(实战必用)

零样本CoT(Zero-Shot CoT)

无需任何示例,仅通过一句通用指令触发推理,最简单、通用性最强。

万能触发词:请一步步详细思考,再给出最终答案

适用场景:简单逻辑、基础计算、常识问答、普通分析类任务。

少样本CoT(Few-Shot CoT)

提前给出2-3组「问题+推理过程+标准答案」模板,让模型严格复刻你的推理格式、语序、步骤逻辑。

约束力远强于零样本,专门解决复杂数学、专业推理、固定格式解题场景。

高阶CoT变体(工业级用法)

- 自一致性CoT:多次生成不同推理路径,投票选出最高频正确答案,抵消单次采样误差;

- 多轮拆分CoT:人工将超长难题拆分为多轮小问题,逐轮推导,杜绝逻辑断裂;

- 模型原生内部CoT:GPT、Claude的Thinking模式,内部完成分步推理,仅对外输出答案,无公开步骤。

极简可直接复制实战模板

零样本通用CoT

1
2
请一步步详细推理,严谨推导,最后给出清晰明确的最终答案。
问题:{你的问题}

少样本数学/逻辑CoT

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
请严格按照下方示例的推理格式、步骤逻辑作答。

示例1:
问题:10减去3,再加6,结果是多少?
推理:先计算10-3=7,再计算7+6=13
答案:13

示例2:
问题:一个箱子有8本书,拿走4本,又放入5本,现有几本?
推理:原有8本,拿走4本剩余4本,加上5本一共9本
答案:9

现在作答:
问题:{你的问题}

不同场景下的能力解读

1. 日常对话与问答

依靠训练数据中学到的对话轮次、语气、问答句式,持续做序列预测。模型不会感知情绪,只是复刻海量语料中的高概率回复。

2. 代码开发

代码语法、规则具备强序列特征,概率更容易被约束,因此大模型在编程场景表现突出。搭配角色、结构化格式、任务拆解,能进一步提升输出质量。

3. 数学与逻辑推理

直接输出答案容易因单次采样出错,CoT通过增加中间推理上下文,层层约束概率,是提升准确率的关键手段。

4. 智能代理Agent

本质是组合式Prompt的自动化,把角色、步骤、规则提前封装,依旧依托上下文+Token预测运行,不存在自主规划意识。

总结

1. 大模型本质是概率序列生成器,所有能力都是海量数据下拟合出的统计规律;

2. Prompt工程的核心,就是通过改造上下文,精准控制模型的输出概率;

3. CoT思维链是低成本、高收益的推理优化手段,靠概率约束强化逻辑能力;

4. 大模型的“智能”是统计涌现现象,并非真正的思考与理解。

使用 Hugo 构建
本站访客: · 总访问量: