最近读了 RAG 和 ReAct 的两篇论文，并且记录了以下的学习笔记。 RAG 文提出了以下两个模型： RAG 模型原理实现RAG-Sequence让每份资料分别支撑整个答案，再把各份资料对整个答案的支持综合起来。找出几份资料 → 分别依据每份资料评估整个答案 → 综合评分，选出答案。RAG-Token每写一个词，都综合各份资料的支持，所以答案的…

这是Andrej Karpathy 零基础学习神经网络的视频课的第七节课。本次我们将会学习如何搭建一个Transformer架构的语言模型。 准备工作 安装Python安装Pytorch观看视频课程 正式开始编写代码 引入必要包和固定随机种子 经典的第一步，引入必须使用的包，并且固定随机种子： import torch import torch.n…

以下摘抄自文章《Howto Read a Paper》，已翻译为中文： 三遍法 其核心思想在于：你应该分至多三遍来读一篇论文，而不是从头开始、一路埋头读到尾。每一遍都要达成特定的目标，并在前一遍的基础上层层递进：第一遍让你对论文有一个总体的认识；第二遍让你把握论文的内容，但不涉及细节；第三遍帮助你深入地理解这篇论文。 第一遍 第一遍是快速浏览，目的…

上一篇我们看完了 cli.py，知道了 Agent 是怎么被组装起来的。这一篇我们进入 agents.py，看看 Agent 到底是怎么"跑"起来的——这里才是 smolagents 的核心。 入口函数——run() 这个方法是 agents.py 的入口方法，从这里可以开始理解这个 agent 做了什么。 参数预处理 首先，这里对参数进行了一些预…

smolagents框架是一个极简的 ReAct agent 框架，比较适合我们这种零基础的同学入门 agent 开发，学习并理解 anegt 的设计逻辑。 入口函数——main() 观察入口函数可以让我们快速了解其流程： def main() -> None: args = parse_arguments() # Check if we s…

这是Andrej Karpathy 零基础学习神经网络的视频课的第三节课，在这一节课中，我们会实现一个简单的英文名生成网络。 准备工作 安装Python安装Pytorch观看视频课程 正式开始编写代码 准备姓名集和字典 首先，我们需要准备好姓名文本，这可以从GitHub上直接下载，读者可以点击直接下载进行下载。笔者已经把链接设置好了。 我们先按照上…

BASIC_MODE下无法调出主页面 近期笔者在开发一款鸿蒙系统下的输入法，鸿蒙系统的输入法有两种模式，分别为基础模式 (BASIC_MODE)和完整体验模式 (FULL_EXPERIENCE_MODE)，默认为基础模式，但是笔者却始终无法在基础模式 (BASIC_MODE)下，在调试虚拟机中调出输入法的主页面。 临时解决方案 经过笔者的大量测试发…

这是Andrej Karpathy 零基础学习神经网络的视频课的第二节课，在这一节课中，我们会实现一个简单的英文名生成网络。 准备工作 安装Python安装Pytorch观看视频课程 正式开始编写代码 准备姓名集 首先，我们需要准备好姓名文本，这可以从GitHub上直接下载，读者可以点击直接下载进行下载。笔者已经把链接设置好了。 我们先来写一个ma…

笔者最近跟着Andrej Karpathy 零基础学习神经网络的视频课学习神经网络中，顺便把学习笔记发在这里。Andrej Karpathy是神经网络领域的大佬，他对Python的使用了如指掌，但是笔者其实对Python的掌握不是特别的熟练。虽然说之前也写过一些爬虫，但是笔者最近两年都是在做Java开发。因此笔者写的代码可能更通俗易懂一些。也不会像…

 GitHubBigheadFishZJML/qwopus3.5-9b-fanren-lora   什么是LoRA微调 与LoRA微调对应的是全量微调，即对整个模型所有的参数根据输入的文本进行微调更新。这个模型所有的参数需要巨量的算力，只有大型计算机群可以实现。 LoRA微调是目前社区最主流的模型微调方式，通过训练两个低阶矩阵，只需调整非常少的参数…