爱开源GoGo

Tendis冷热混合存储方案 技术实现原理 采用异步写回方案同步redis中的数据到后端tendisPlus（基于rocksdb）组件。通过订阅redis的aof日志将数据通过kafka异步写到后端tendisPlus 缓存中保存全量key，数据淘汰到tendisPlus仅仅驱逐value，key还在reidis中。当某个key过期时，redis中触发淘汰，会在aof日志中有一条del记录，通过这条记录删除tendisPlus中的值。设置value-eviction-time值为7，表示7天未访问，会被驱逐到tendisPlus中。 读数据 从 Redis 读取数据 。 如果命中，那么就将数据返回给应用程序。 如果redis中key不存在，则返回数据不存在 如果未命中(key存在但数据已落地)，阻塞当前客户端， Redis 负责将 Key 从 Tendisplus 中恢复，然后返回给用户。 写数据 写入 Redis 缓存，成功后返回。 后台异步回刷，将数据持久化到后端 Tendisplus。 监听写入速度，和redis落地和redis差距很大，则阻塞写 潜在常见问题 ...

大模型ReAct-基于langchain框架 ReAct智能体出自于paper “ReAct: Synergizing Reasoning and Acting in Language Models” ReAct 是一个将推理和行为与 LLMs 相结合通用的范例。ReAct 提示 LLMs 为任务生成口头推理轨迹和操作。这使得系统执行动态推理来创建、维护和调整操作计划，同时还支持与外部环境(例如，Wikipedia)的交互，以将额外信息合并到推理中。其核心逻辑在于推理+执行，分为如下三个步骤：Thought、Action、Observation。 Thought：由LLM模型生成，要求模型执行之前必须先进行思考。让模型自己规划需要执行什么行为来完成任务 Action：Act是指LLM判断本次需要执行的具体行为。Act一般由两部分组成：行为和对象。用编程的说法就是API名称和对应的入参。LLM模型最大的优势是，可以根据Thought的判断，选择需要使用的API并生成需要填入API的参数。从而保证了ReAct框架在执行层面的可行性。 Observation：LLM框架对于外界输入的获取。 ...

大模型ReAct-基于llamaIndex框架

一、mcp介绍 mcp结构图如下： 二、安装mcp mcp python sdk：https://github.com/modelcontextprotocol/python-sdk 安装uv包管理工具 12# 全局安装uv包管理工具pip install uv 安装sdk： 12345uv add "mcp[cli]" httpx# 或者pip install "mcp[cli]"# 或者uv pip "mcp[cli]" httpx 三、创建mcp服务 mcp server可以有本地的通过stdio来和client交互的server端，也有远程通过http sse协议和client交互的server端 3.1 创建mcp本地server 创建一个本地server，通过标准输入输出（stdio）和mcp client进行通信 3.1.1 创建项目 12345678910uv init mcpstdioserver # 初始化项目cd mcpstdioserver# 创建并激活虚拟环境uv venvsource .venv ...

环境搭建 创建vllm，最好单独搭建一个vllm的环境 1234conda create -n vllm python=3.12 -yconda activate vllmpip install vllmpip show vllm # 0.8.5.post1 命令行启动vllm qwen3开源包括两款MoE模型：Qwen3-235B-A22B（2350多亿总参数、 220多亿激活参数），以及Qwen3-30B-A3B（300亿总参数、30亿激活参数）； 以及六个Dense模型：Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B和Qwen3-0.6B。 首先尝试在T4显卡（15G显存，80G内存）启动dense稠密向量的qwen3-4b模型，由于T4不支持bf16，所以需要修改为float16格式（--dtype=half） 1vllm serve Qwen/Qwen3-4B --dtype=half 发现跑不起来，显存太少，修改了--gpu-memory-utilization=0.95 --max-model-len=16384依然无法跑 ...

解锁AI潜能：万字详解大语言模型提示工程的终极指南 简介 提示工程主要应用于为大模型开发和优化提示词（Prompt），通过提示词优化提升大语言模型处理复杂任务场景的能力。本文主要介绍当前提示工程（Prompt Engineering）领域的一些基础知识，当前有哪些主流的提示工程技术，以及设计提示词的一些通用技巧。最后，本文会分享一个实际工作中短信拦截的prompt调优工作。 你离prompt工程师只差这份指南 （本文标题就是大模型取的） 提示工程是什么 大模型提示工程（Prompt Engineering）是指为大规模预训练语言模型（如GPT-4）设计和优化输入提示（prompts）以获得所需输出的过程。这个过程涉及理解模型的行为和能力，编写有效的提示，调整和优化提示以提高模型的响应质量和准确性。 它通过特定任务的指令，即提示，提升模型效能，无需更改模型核心参数。这些提示能够通过给定的指令直接引导预训练模型完成下游任务，从而实现模型行为的精确调控 提示词要素 明确意图：始终清楚地传达最重要的内容或信息。 构建提示词：首先定义其角色，提供上下文 / 输入数据，然后给出具体指令。 参照例子 ...

RAG应用 一、RAG简介 目前实现 RAG 的主流框架就是 LangChain 和 LlamaIndex，LangChain 更适合需要复杂对话流程、上下文管理、以及多步骤任务的应用场景，如聊天机器人、任务自动化等。LlamaIndex 当应用场景主要涉及大量数据的快速检索和查询时，LlamaIndex更加适用，如企业知识问答系统、文档搜索引擎等。 二、llamaIndex构建RAG服务 LlamaIndex最初被称为GPT Index, 后来大语言模型的快速发展，改名为LlamaIndex。它就像一个多功能的工具，可以在处理数据和大型语言模型的各个阶段提供帮助 首先，它有助于“摄取”数据，这意味着将数据从原始来源获取到系统中。其次，它有助于“结构化”数据，这意味着以语言模型易于理解的方式组织数据。第三，它有助于“检索”，这意味着在需要时查找和获取正确的数据。最后，它简化了“集成”，使您更容易将数据与各种应用程序框架融合在一起。 首先安装llamaIndex 1pip install llama-index llama_index.llms.ollama llama_index. ...

大模型意图识别 一、意图识别传统方法 过去为了识别用户意图，可以使用训练的方式，或者使用prompt 1.1 微调大模型识别指令 1.2 通过prompt指导大模型识别指令 可以使用如下prompt： 1234567891011121314151617### 背景有两个API接口：1. 下单API：支持传入商家名称、商品名称。2. 搜索API：支持传入地点与距离进行搜索，API会返回外卖商家和商品列表。### 要求根据输入的文本，需要决定是否调用API，调用哪个API并生成对应的查询结构体。回答的时候给出： 1.下一步动作(action) 2.是否调用和调用哪个API 3.回复语句 4.查询结构体。### 示例问题：我在新街口，想吃20元左右的黄焖鸡。答案：{ action: 'call', api: 2, params: ['新街口’， 20, '黄焖鸡']}问题： 好的，我想吃杨铭宇黄焖鸡答案：{action: 'call', api: 1, params:['' ...

bert模型使用 huggingface中的模型 huggingface中的模型定义的基本结构如下： 123456789101112131415161718192021222324def _forward_unimplemented(self, *input: Any) -> None: raise NotImplementedError(f"Module [{type(self).__name__}] is missing the required \"forward\" function")class Module: def __init__(self) -> None: self.basename = "BaseModel" def __call__(self, *args: Any, **kwds: Any) -> Any: print(f"now you call __call__,params={args ...

pytorch基础：FashionMNIST时装分类 环境搭建 安装指定pytorch版本：old pytorch version 12condatorch==2.0.1+cu117, torchvision==0.15.2 数据集 我们这里的任务是对10个类别的“时装”图像进行分类，使用FashionMNIST数据集。 上图给出了FashionMNIST中数据的若干样例图，其中每个小图对应一个样本。 FashionMNIST数据集中包含已经预先划分好的训练集和测试集，其中训练集共60,000张图像，测试集共10,000张图像。每张图像均为单通道黑白图像，大小为28*28pixel，分属10个类别。 加载数据 加载数据主要通过构造Dataset结构，该结构体继承自torch.utils.data.Dataset，其中提供了一个函数__getitem__，用于根据index获取数据集中的元素。另外还需实现__len__用来返回数据集元素个数 对于这个时装分类，可以用pytorch封装好的Dataset，该对象会自动去下载数据集。 1234567891011121314import t ...