最近在组内做了一个关于deepseek harness（dsh）的技术分享，虽然准备了很久，但是实际分享的时候还是会有点卡壳，感觉还是对这块的技术原理不是很熟悉，所以希望可以再对这部分好好学习一下，以此加深对AI Agent的一些思考吧。 首先，梳理一下Agent的发展历程。2022年底，GPT模型系列发布，但是当时大家还只是把它当作一个稍微智能的chatbot，当时也确实由于模型的上下文窗口比较少，模型能理解的上下文也偏小，导致模型的...
SFT实践
SFT，全称是Supervised Fine-Tuning，监督微调。个人理解就是通过对预计预训练好的大模型做二次训练，让大模型从一个全能型人才转为特定领域的专家，是一个从通才转为专才的过程。举个例子，大模型A在数学微积分方面只能拿到80分，模型幻觉率5%，通过对模型进行微调，理论上是可以让他在微积分方面拿到99分，模型幻觉率0.5%，当然这个过程不是那么简单，里面还需要做很多的优化，影响的因素比如数据集的质量，训练轮次，微调方案选型等...
MCP原理解析
MCP，全称是Model Context Protocol，模型上下文协议。他是一种通信协议，约定了AI Agent在使用工具时候的范式。MCP核心分为三个部分，分别是客户端（Client），服务端（Server）和通信协议（Protocol） 客户端：通常指的是LLM应用，比如Cursor，Trae等等，它负责接收用户输入的指令，并通过模型决策，最终决定什么时候调用工具。 服务端：提供具体工具和数据源的服务端，它负责执行具体的操作动作...
论文阅读-基于大型语言模型的自主智能体调查
一个自主的智能体是一个位于环境中并与部分交互的系统，它感知环境并对其采取行动，随着时间的推移追求自身的议程，并以此影响它未来的感知。
RAG论文阅读：Searching for Best Practices in Retrieval-Augmented Generation
这篇论文提供了一个RAG实践的框架，介绍了在RAG pipline中每个阶段该如何进行优化。通过这篇论文，可以了解到RAG在检索和生成阶段的核心细节，有助于加深对RAG的了解，为今后的实现提供了一定的指导意义。 查询分类 LLM+RAG虽然可以一定程度上缓解大模型幻觉问题，但是也同时会增加响应的时长。所以建议对query进行分类，先筛选哪些需要利用RAG增强，把一些LLM可以自行解决的问题过滤出来，避免无效的检索，提高大模型的处理效率 ...