你好,我是 Mingy

这里记录深度学习、大模型Agent的学习笔记。偶尔也写点乱七八糟的东西。

RAG 系统回答不准确的排查方法

第一步:确认答案是否在知识库中 排查方法:针对回答错误的 bad case,人工在知识库中搜索答案。若人工无法找到,说明问题出在数据源(如文档未完整导入、格式解析失败(PDF 表格、扫描件文字提取错误)、知识库未及时更新等),需优先解决数据源问题,否则后续优化无效。 第二步:检查 chunking 是否切碎答案 问题表现: ...

2026-03-14 · 2 分钟 · 739 字 · Mingy

GraphRAG和LightRAG技术介绍

RAG介绍 检索增强生成(Retrieval-Augmented Generation)技术是一种结合了检索和生成两个阶段的自然语言处理技术,它由Facebook AI团队在 2020 年提出。通常包括两个阶段:检索阶段和生成阶段。在检索阶段,从知识库中找出与问题最相关的知识,为后续的答案生成提供素材。在生成阶段,RAG会将检索到的知识内容作为输入,与问题一起输入到语言模型中进行生成。这样,生成的答案不仅考虑了问题的语义信息,还考虑了相关私有数据的内容。解决了以下几个问题: ...

2025-01-08 · 23 分钟 · 11216 字 · Mingy

透彻理解交叉熵的本质

关于交叉熵在loss函数中使用的理解 交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用起来也比较方便。最近开始研究起对抗生成网络(GANs),用到了交叉熵,发现自己对交叉熵的理解有些模糊,不够深入。遂花了几天的时间从头梳理了一下相关知识点,才算透彻的理解了,特地记录下来,以便日后查阅。 ...

2018-09-26 · 5 分钟 · 2085 字 · Mingy

梯度消失和梯度爆炸的原因

前言:深度神经网络中,我们听到的最多的词就是梯度消失(gradient vanishing )和梯度爆炸(gradient exploding),那么这两个词到底表示什么意思呢?今天就让我们来一探究竟。 一.梯度消失与梯度爆炸问题简述 层数比较多的神经网络模型在使用梯度下降法对误差进行反向传播时会出现梯度消失和梯度爆炸问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显。 例如,对于图1所示的含有3个隐藏层的神经网络,梯度消失问题发生时,靠近输出层的hidden layer 3的权值更新相对正常,但是靠近输入层的hidden layer1的权值更新会变得很慢,导致靠近输入层的隐藏层权值几乎不变,扔接近于初始化的权值。这就导致hidden layer 1 相当于只是一个映射层,对所有的输入做了一个函数映射,这时此深度神经网络的学习就等价于只有后几层的隐藏层网络在学习。梯度爆炸的情况是:当初始的权值过大,靠近输入层的hidden layer 1的权值变化比靠近输出层的hidden layer 3的权值变化更快,就会引起梯度爆炸的问题。 ...

2018-09-24 · 2 分钟 · 787 字 · Mingy

卷积神经网络中两种Padding方式的介绍

当我们计算卷积池化后的图像尺寸时,需要注意“VALID”和“SAME”两种Padding对应的输出尺寸计算方式不一样,下面就来说说具体的计算方式 1. 当Padding为“VALID” 这种情况下,当你经过最后一步步长做卷积或池化运算,超出图像边界不会补‘0’,输出的形状为:⌈(W-F+1)/S⌉ ...

2018-03-08 · 1 分钟 · 245 字 · Mingy

Windows安装Tensorflow

一、安装 cpu版本的tensorflow 首先安装python环境,建议安装python3.5版本的 升级pip python.exe -m pip install --upgrade pip 安装cpu版本的Tensorflow pip install --upgrade https://storage.googleapis.com/tensorflow/windows/cpu/tensorflow-1.2.1-cp35-cp35m-win_amd64.whl 网址最好在官网找最新的 安装完成后在导入模块的时候 import tensorflow as tf可能会找不到模块这是还需要下载下面的插件 插件下载地址 ...

2017-07-13 · 1 分钟 · 493 字 · Mingy

Md快速入门

一、标题写法 # 一级标题 ## 二级标题 ### 三级标题 #### 四级标题 ##### 五级标题 ###### 六级标题 注:最好#和标题之间保留一个空格 效果如下: 一级标题 二级标题 三级标题 四级标题 五级标题 六级标题 二、列表写法 无序列表: - 列表一 - 列表二 - 列表三 或者 * 列表一 * 列表二 * 列表三 或者 + 列表一 + 列表二 + 列表三 三者效果一样,如下所示: 列表一 列表二 列表三 有序列表: ...

2017-05-20 · 2 分钟 · 850 字 · Mingy