最近读了 RAG 和 ReAct 的两篇论文，并且记录了以下的学习笔记。 RAG 文提出了以下两个模型： RAG 模型原理实现RAG-Sequence让每份资料分别支撑整个答案，再把各份资料对整个答案的支持综合起来。找出几份资料 → 分别依据每份资料评估整个答案 → 综合评分，选出答案。RAG-Token每写一个词，都综合各份资料的支持，所以答案的…

这是Andrej Karpathy 零基础学习神经网络的视频课的第七节课。本次我们将会学习如何搭建一个Transformer架构的语言模型。 准备工作 安装Python安装Pytorch观看视频课程 正式开始编写代码 引入必要包和固定随机种子 经典的第一步，引入必须使用的包，并且固定随机种子： import torch import torch.n…

这是Andrej Karpathy 零基础学习神经网络的视频课的第三节课，在这一节课中，我们会实现一个简单的英文名生成网络。 准备工作 安装Python安装Pytorch观看视频课程 正式开始编写代码 准备姓名集和字典 首先，我们需要准备好姓名文本，这可以从GitHub上直接下载，读者可以点击直接下载进行下载。笔者已经把链接设置好了。 我们先按照上…

这是Andrej Karpathy 零基础学习神经网络的视频课的第二节课，在这一节课中，我们会实现一个简单的英文名生成网络。 准备工作 安装Python安装Pytorch观看视频课程 正式开始编写代码 准备姓名集 首先，我们需要准备好姓名文本，这可以从GitHub上直接下载，读者可以点击直接下载进行下载。笔者已经把链接设置好了。 我们先来写一个ma…

笔者最近跟着Andrej Karpathy 零基础学习神经网络的视频课学习神经网络中，顺便把学习笔记发在这里。Andrej Karpathy是神经网络领域的大佬，他对Python的使用了如指掌，但是笔者其实对Python的掌握不是特别的熟练。虽然说之前也写过一些爬虫，但是笔者最近两年都是在做Java开发。因此笔者写的代码可能更通俗易懂一些。也不会像…

 GitHubBigheadFishZJML/qwopus3.5-9b-fanren-lora   什么是LoRA微调 与LoRA微调对应的是全量微调，即对整个模型所有的参数根据输入的文本进行微调更新。这个模型所有的参数需要巨量的算力，只有大型计算机群可以实现。 LoRA微调是目前社区最主流的模型微调方式，通过训练两个低阶矩阵，只需调整非常少的参数…

如果直接在宿主机部署Frp，为了确保它开机启动，需要把它设置为一个服务。以前一直运转良好，直到我今天在同一个设备上试图运行两个Frp的时候，因为未知错误，宿主机的核心进程崩溃了，算是踩了一个大坑。后来查了一下，Frp支持Docker部署。那还说什么，干脆直接用Docker部署一个容器，既方便管理，还可以防止触及到核心进程。在这里记录一下这个坑，并且…

最近在申请软件著作权证书，顺便将踩到的坑记录在这里   一、踩过的坑 中国版权登记业务平台在工作日最后一步提交会显示当前提交人数过多，请稍后再试。晚上再试的时候会提示系统维护中，早上8点开放。0点过后进入系统会出现网络错误，完全无法进入系统。实测周六中午12点可以投递。 二、最终需要提交什么 材料 文件名示例 页数要求 核心规范 文档鉴别…