瓦尔登湖小酒馆

[置顶] 搜索算法概要

Posted by OAA on October 25, 2024

LLM：大模型时代下的搜广推

Posted by OAA on April 23, 2025

LLM：巨人的肩膀 -- 经验和教训

本系列关注 AI 领域内大师观点前瞻 1、欢迎来到经验时代本章节翻译自：Welcome to the Era of Experience 1.1、摘要我们正站在人工智...

Posted by OAA on April 22, 2025

LLM：并行训练

本文整合自参考文献多篇文章，主要介绍模型并行训练的相关知识 1、模型并行 1.1、并行技术概述在现代机器学习中，各种并行技术被用于：将超大型模型适配到有限的硬件上 ...

Posted by OAA on April 21, 2025

LLM：RL 开源系统

1、RL 开源系统在 LLM 迈向人类认知水平与复杂任务泛化能力的进程中，RLHF 和推理能力的突破性提升，已成为技术进化的两大核心驱动力。然而，我们也面对两个问题：如何在算法效率与系统灵活...

Posted by OAA on April 2, 2025

LLM：DeepSeek R1 训练流程

DeepSeek R1 架构和训练过程本文翻译整理自：Drawing DeepSeek R1 Architecture and Training Process from Scratc...

Posted by OAA on March 27, 2025

LLM：Post-Training

1、Post Training 预训练提供了广泛的语言基础，而后训练使 LLM 能够完善其知识体系、提升推理能力、增强事实准确性，并更有效地与用户意图和伦理考量保持一致。微调、强化学习和测试时...

Posted by OAA on March 7, 2025

LLM：Agent

1、LLM Agent 自主智能体（Autonomous Agent）长期以来一直被认为是实现通用人工智能（AGI）的一种很有前景的方法，通用人工智能有望通过自主规划和行动来完成任务。LLM ...

Posted by OAA on February 20, 2025

LLM：PEFT

1、SFT 和 PEFT SFT（Supervised Fine-Tuning，监督微调）是针对大规模语言模型（LLM）进行二次训练的一个重要步骤。在预训练阶段，LLM 通常通过大量的无标签数...

Posted by OAA on February 19, 2025

LLM：RAG

1、RAG 概览 RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索（IR）和 LLM 的技术。它的核心思想是在 LLM 生成回答之前，通...

Posted by OAA on February 18, 2025

LLM：强化学习

在大规模语言模型（LLM）中，强化学习扮演了重要的角色。具体来说，强化学习的一个重要应用是在模型训练中的 RLHF。在这阶段，模型生成的文本被人类评估并给出反馈。这些反馈通常以奖励信号的形式传递...

Posted by OAA on January 12, 2025

LLM：大语言模型结构

1、大语言模型大语言模型是通过无监督学习训练的神经网络模型，特别是在大量的文本数据上进行预训练。其核心思想是让模型从上下文中预测词汇或子词的概率分布，进而捕捉语言的语法、语义、上下文信息等。...

Posted by OAA on January 8, 2025

LLM：DeepSeek 系列

1、DeepSeek LLM DeepSeek LLM 发布于 2023 年 11 月，收集了 2 万亿个词元用于预训练。在模型层面沿用了 LLaMA 的架构，将余弦退火学习率调度器替换为多步...

Posted by OAA on January 7, 2025

LLM：Qwen 系列

1、Qwen 1 Qwen 1 发布于 2023 年 8 月，Qwen 是一个全面的大型语言模型系列，涵盖了具有不同参数数量的不同模型，包括 Qwen 基础预训练语言模型和 Qwen-Chat...

Posted by OAA on January 6, 2025

LLM：LLaMA 系列

LLaMA（Large Language Model Meta AI）是发布于 2023 年 2 月的开源预训练大型语言模型，与 GPT 等生成模型类似，LLaMA 也只使用了 Transfo...

Posted by OAA on January 5, 2025

LLM：GPT 系列

GPT（Generative Pre-trained Transformer）是生成式预训练语言模型，基于 Transformer 架构，专注于通过自回归的方式生成自然语言文本，即给定一个输入序...

Posted by OAA on January 4, 2025

搜索-搜索排序多目标预估和多目标融合

搜索排序多目标预估和多目标融合在搜索排序中，用户的行为和目标往往是多样化的，比如点击、收藏、分享、停留时长等。单一的目标优化可能导致整体效果的偏差，因此需要通过多目标预估与多目标融合来更全面...

Posted by OAA on December 27, 2024

搜索-搜索系统常见指标和评估方式

1、搜索系统常见指标和评估方式搜索系统的优化是一场指标驱动的系统工程，核心在于找准业务指标和中间指标的传导路径，实现策略的高效迭代。一个典型的搜索系统指标传导路径可以表示为：底层技术...

Posted by OAA on December 25, 2024

排序-重排

1、重排重排是精排后的一个阶段，主要负责在最终展示结果前对精排后的排序列表进行进一步优化和调整（微调）。重排核心目标是保证一定相关性的前提下，提高结果的多样性，从而提升用户体验，满足用户在...

Posted by OAA on December 8, 2024

排序-精排

1、精排精排的核心目标是从粗排阶段筛选出的候选集内（通常是几百个到几千个候选文档），依据更加细致的相关性、用户行为、时效性等因素，对文档进行细粒度的排序，以确保最相关的文档排在前面，最大化...

Posted by OAA on December 7, 2024

排序-粗排

1、粗排粗排是搜索系统中排序环节的第一层，主要目标是从大量候选文档中快速筛选出一小部分高潜相关的文档，为后续的精排提供输入。粗排阶段通常需要在较低的计算成本下实现高召回率和初步的排序能力，...

Posted by OAA on December 6, 2024