大语言模型（LLM）

知识增强检索（RAG）

LLM 的作用是压缩和整理非格式化信息。

通过 A/B 测试默认模型的表现，不断收集问题反馈，最终评估选择默认模型，而且还在持续迭代。

向量数据库（Vector Database，如： Qdrant）在 RAG 系统中，数据通常被转换为高维向量形式，使得语言模型能够进行高效的语义相似度计算和检索。在向量数据库中，查找变成了计算每条记录的向量近似度，然后按照分值倒序返回结果。RAG 就是如何存取向量的方法论，根据不同的实现策略，还衍生出了不同的 RAG 技术。

AI应用的数据建模与传统应用有相似之处，但它更强调数据的语义表示和关联性，以支持更灵活的查询和推理。因此，高质量的数据处理不仅影响检索的准确性，还直接决定了语言模型生成内容的质量和可靠性。这是将数据处理作为整个课程首要内容的原因。

选择一个Embedding 模型，把文本转成向量，配合关联数据存储到向量数据库中。

基于 RAG 技术的对话问答应用，他的特点就是使用了特定的内容作为知识库，利用讲师专家的经验作为背书，提供更好的技术类问答能力。要让大模型使用极客时间的知识库回答用户问题，那么就要把我们的知识资料输入给大模型，目前主要是两种方式，Fine-tuning 和 RAG。我们对小助手的要求是，要能实时更新知识资料，不需要模型去深度探讨问题，重点使用我们的知识经验去解答用户问题。