爱开源GoGo

大模型ReAct-基于llamaIndex框架 llamaIndex的react的系统提示词如下： 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556react_system_header_str = """\You are designed to help with a variety of tasks, from answering questions \ to providing summaries to other types of analyses.## ToolsYou have access to a wide variety of tools. You are responsible for usingthe tools in any sequence you deem appropriate to complete the task at hand.This may requir ...

一、mcp介绍 mcp结构图如下： 二、安装mcp mcp python sdk：https://github.com/modelcontextprotocol/python-sdk 安装uv包管理工具 12# 全局安装uv包管理工具pip install uv 安装sdk： 12345uv add "mcp[cli]" httpx# 或者pip install "mcp[cli]"# 或者uv pip "mcp[cli]" httpx 三、创建mcp服务 mcp server可以有本地的通过stdio来和client交互的server端，也有远程通过http sse协议和client交互的server端 3.1 创建mcp本地server 创建一个本地server，通过标准输入输出（stdio）和mcp client进行通信 3.1.1 创建项目 12345678910uv init mcpstdioserver # 初始化项目cd mcpstdioserver# 创建并激活虚拟环境uv venvsource .venv ...

环境搭建 创建vllm，最好单独搭建一个vllm的环境 1234conda create -n vllm python=3.12 -yconda activate vllmpip install vllmpip show vllm # 0.8.5.post1 命令行启动vllm qwen3开源包括两款MoE模型：Qwen3-235B-A22B（2350多亿总参数、 220多亿激活参数），以及Qwen3-30B-A3B（300亿总参数、30亿激活参数）； 以及六个Dense模型：Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B和Qwen3-0.6B。 首先尝试在T4显卡（15G显存，80G内存）启动dense稠密向量的qwen3-4b模型，由于T4不支持bf16，所以需要修改为float16格式（--dtype=half） 1vllm serve Qwen/Qwen3-4B --dtype=half 发现跑不起来，显存太少，修改了--gpu-memory-utilization=0.95 --max-model-len=16384依然无法跑 ...

解锁AI潜能：万字详解大语言模型提示工程的终极指南 简介 提示工程主要应用于为大模型开发和优化提示词（Prompt），通过提示词优化提升大语言模型处理复杂任务场景的能力。本文主要介绍当前提示工程（Prompt Engineering）领域的一些基础知识，当前有哪些主流的提示工程技术，以及设计提示词的一些通用技巧。最后，本文会分享一个实际工作中短信拦截的prompt调优工作。 你离prompt工程师只差这份指南 （本文标题就是大模型取的） 提示工程是什么 大模型提示工程（Prompt Engineering）是指为大规模预训练语言模型（如GPT-4）设计和优化输入提示（prompts）以获得所需输出的过程。这个过程涉及理解模型的行为和能力，编写有效的提示，调整和优化提示以提高模型的响应质量和准确性。 它通过特定任务的指令，即提示，提升模型效能，无需更改模型核心参数。这些提示能够通过给定的指令直接引导预训练模型完成下游任务，从而实现模型行为的精确调控 提示词要素 明确意图：始终清楚地传达最重要的内容或信息。 构建提示词：首先定义其角色，提供上下文 / 输入数据，然后给出具体指令。 参照例子 ...

RAG应用 一、RAG简介 目前实现 RAG 的主流框架就是 LangChain 和 LlamaIndex，LangChain 更适合需要复杂对话流程、上下文管理、以及多步骤任务的应用场景，如聊天机器人、任务自动化等。LlamaIndex 当应用场景主要涉及大量数据的快速检索和查询时，LlamaIndex更加适用，如企业知识问答系统、文档搜索引擎等。 二、llamaIndex构建RAG服务 LlamaIndex最初被称为GPT Index, 后来大语言模型的快速发展，改名为LlamaIndex。它就像一个多功能的工具，可以在处理数据和大型语言模型的各个阶段提供帮助 首先，它有助于“摄取”数据，这意味着将数据从原始来源获取到系统中。其次，它有助于“结构化”数据，这意味着以语言模型易于理解的方式组织数据。第三，它有助于“检索”，这意味着在需要时查找和获取正确的数据。最后，它简化了“集成”，使您更容易将数据与各种应用程序框架融合在一起。 首先安装llamaIndex 1pip install llama-index llama_index.llms.ollama llama_index. ...

大模型意图识别 一、意图识别传统方法 过去为了识别用户意图，可以使用训练的方式，或者使用prompt 1.1 微调大模型识别指令 1.2 通过prompt指导大模型识别指令 可以使用如下prompt： 1234567891011121314151617### 背景有两个API接口：1. 下单API：支持传入商家名称、商品名称。2. 搜索API：支持传入地点与距离进行搜索，API会返回外卖商家和商品列表。### 要求根据输入的文本，需要决定是否调用API，调用哪个API并生成对应的查询结构体。回答的时候给出： 1.下一步动作(action) 2.是否调用和调用哪个API 3.回复语句 4.查询结构体。### 示例问题：我在新街口，想吃20元左右的黄焖鸡。答案：{ action: 'call', api: 2, params: ['新街口’， 20, '黄焖鸡']}问题： 好的，我想吃杨铭宇黄焖鸡答案：{action: 'call', api: 1, params:['' ...

一、huggingface加载llama模型 使用pipeline加载模型 123456789101112131415161718192021import transformersimport torchmodel_path = "meta-llama/Meta-Llama-3-8B-Instruct"tokenizer = AutoTokenizer.from_pretrained(model_path)pipeline = transformers.pipeline( "text-generation", model=model_path, model_kwargs={"torch_dtype": torch.bfloat16}, # 如果使用的是v100，是不支持bf16的，需要使用torch.float16# device="cuda", device="cpu",)sequences = pipeline( 'I liked ...

bert模型使用 huggingface中的模型 huggingface中的模型定义的基本结构如下： 123456789101112131415161718192021222324def _forward_unimplemented(self, *input: Any) -> None: raise NotImplementedError(f"Module [{type(self).__name__}] is missing the required \"forward\" function")class Module: def __init__(self) -> None: self.basename = "BaseModel" def __call__(self, *args: Any, **kwds: Any) -> Any: print(f"now you call __call__,params={args ...

pytorch基础：FashionMNIST时装分类 环境搭建 安装指定pytorch版本：old pytorch version 12condatorch==2.0.1+cu117, torchvision==0.15.2 数据集 我们这里的任务是对10个类别的“时装”图像进行分类，使用FashionMNIST数据集。 上图给出了FashionMNIST中数据的若干样例图，其中每个小图对应一个样本。 FashionMNIST数据集中包含已经预先划分好的训练集和测试集，其中训练集共60,000张图像，测试集共10,000张图像。每张图像均为单通道黑白图像，大小为28*28pixel，分属10个类别。 加载数据 加载数据主要通过构造Dataset结构，该结构体继承自torch.utils.data.Dataset，其中提供了一个函数__getitem__，用于根据index获取数据集中的元素。另外还需实现__len__用来返回数据集元素个数 对于这个时装分类，可以用pytorch封装好的Dataset，该对象会自动去下载数据集。 1234567891011121314import t ...

redis基础知识 redis数据结构 五种常用数据结构：string, hash, list, set, zset 十种底层数据结构: ziplist(压缩链表) hash结构 Redis在存储hash结构的数据，为了达到内存和性能的平衡，也针对少量存储和大量存储分别设计了两种结构，分别为： ziplist：压缩列表，当hash达到一定的阈值时，会自动转换为hashtable结构 listpack：紧凑列表，在Redis7.0之后，listpack正式取代ziplist。同样的，当hash达到一定的阈值时，会自动转换为hashtable结构 hashtable：哈希表，类似map 从ziplist/listpack编码转换为hashTable编码是通过判断元素数量或单个元素Key或Value的长度决定的： hash-max-ziplist-entries：表示当hash中的元素数量小于或等于该值时，使用ziplist编码，否则使用hashtable编码。ziplist是一种压缩列表，它可以节省内存空间，但是访问速度较慢。hashtable是一种哈希表，它可以提高访问速度，但是占 ...