1. 视频由动态序列构成，其不仅呈现视觉内容，还传递了不同事件与对象之间的时序和关联关系;
2. 现有的视频大语言模型（Video LLMs）主要侧重于整体场景理解,这些方法往往难以捕捉视频内容中细微的要素。

Task Formulation

视频指代任务旨在理解用户在视频中指定时刻或时间段内提及的特定区域。基础视频指代任务侧重于描述性标注，而更复杂的任务则涉及推理物体间关系，并推断其未来状态或交互行为。

对于给定的视频 $V \in \mathbb{R}^{N \times W \times H \times C}$，其中 $N, W, H, C$ 分别代表帧数、宽度、高度和通道数。将所有“对象”（<object>）定义为 $\boldsymbol{R}$，其中 $\boldsymbol{R} = \{R_1, R_2, \dots, R_n\}$ 。这里，$n$ 表示用户指定的对象总数 。$R_j$ 表示为 $R_j = \{r_{ij} \mid i \in \boldsymbol{T}\}$，其中 $r_{ij}$ 代表单个帧内的一个区域，而 $\boldsymbol{T}$ 是包含一个或多个时间戳的集合。

对于视频大语言模型（Video LLM），模型优化过程旨在最大化在给定 $V, \boldsymbol{R}$ 以及基于文本的提示 $x$ 的条件下，在整个训练数据集中生成文本的对数似然，以产生所需的输出 ： $$\mathcal{L} = \sum_{(V, \boldsymbol{R}, x, y)} \log P(y \mid V, R_1, \dots, R_n, x)$$

其中 $y$ 表示地面真实标签（Ground Truth Label）。

Contribution

1. 首先，本文引入多智能体数据引擎，精心构建了大规模高质量的对象级视频指令数据集VideoRefer-700K；
2. 其次，本文提出VideoRefer模型，该模型配备多功能时空对象编码器，以捕捉精确的区域与序列表征
3. 最后，本文细致创建了VideoRefer-Bench，从多维度全面评估视频大语言模型的时空理解能力。

Architecture

本文在一个成熟的视频大语言模型 VideoLLaMA2.1 的基础上构建模型。本文的主要创新在于引入了一个通用且统一的空间-时间对象编码器，以获取跨视频场景的对象级表征。

A Versatile Spatial-Temporal Object Encoder

为支持各类时空视频理解任务，本文提出的对象编码器不仅能在特定时间戳的单帧图像中捕捉掩码级空间特征，还能在持续时间段内聚合多帧间的时序信息。为此，本文为对象编码器设计了两种模式：单帧模式与多帧模式。

Single-Frame

对于单帧模式，输入由一个随机选择的帧以及用户在该帧中指定的相应区域组成 。这里，$\boldsymbol{T}$ 仅包含一个随机选择的时间戳 。为了生成对象级标记表示，本文提出了空间标记提取器 (Spatial Token Extractor) 。

详细而言，首先通过共享视觉编码器提取图像特征，生成全局图像特征 $F_I \in \mathbb{R}^{1 \times H_I \times W_I \times D_I}$，其中 $H_I, W_I, D_I$ 分别代表图像特征的高度、宽度和维度 。每个对象的二值掩码 $M$ 随后被调整大小以匹配图像特征的形状 。本文利用掩码池化 (Mask Pooling) 操作处理图像特征，为每个掩码提取对象级空间特征 $F_O \in \mathbb{R}^{1 \times D_I}$，该操作会池化区域 $M$ 内的所有特征以生成对象级表示 。最后，采用一个 MLP 层进行适配，并为每个对象区域产生对象级标记 $O \in \mathbb{R}^{1 \times C}$ 。

Multi-Frame

在多帧模式下，输入由视频中选定的一系列帧以及它们各自对应的对象区域组成，即 $T$ 包含视频中的一组时间戳 。使用共享视觉编码器提取帧级特征，生成图像特征 $\mathbf{F}_I \in \mathbb{R}^{k \times H_I \times W_I \times D_I}$，其中 $k$ 代表选定帧的数量。随后，本文利用空间标记提取器 (Spatial Token Extractor) 为每一帧生成对象级标记，得到对象标记 $\mathbf{O} \in \mathbb{R}^{k \times C}$。

为了在一段时间内跨多帧聚合不同的时空对象级表示，同时减少冗余标记，本文提出了时空标记融合模块 (Temporal Token Merge Module)，该模块旨在有效捕捉时空维度上的关键对象级标记。具体而言，从空间对象标记 $\mathbf{O} \in \mathbb{R}^{k \times C}$ 开始，首先计算每对相邻标记之间的余弦相似度，公式如下： $$S_{m,m+1} = \frac{\mathbf{O}_m \cdot \mathbf{O}_{m+1}}{\|\mathbf{O}_m\| \cdot \|\mathbf{O}_{m+1}\|}, 0 \leq m < k. [cite_start]$$

随后，从 $\mathbf{S}$ 中选出前 $k-u$ 个相似度得分，其中 $u$ 是一个预定义常量。相应的标记对随后被合并为一个联合体，最终产生 $u$ 个联合体。对于每个联合体，应用简单的平均池化（Average Pooling）来生成一个独特且具有代表性的标记。最终，在每个对象经过 MLP 层处理后，生成 $u$ 个标记（表示为 $\mathbf{O} \in \mathbb{R}^{u \times C}$），这确保了在不破坏空间结构的情况下，兼顾空间完整性和时空一致性。

Dataset

Multi-agent Data Engine

本文的数据构建流程包含五个组件：(i) 用于名词提取的分析器；(ii) 用于对象级描述生成的标注器；(iii) 用于掩码生成的分割器；(iv) 用于对应关系验证的审核器；(v) 用于总结与精炼的优化器。该多智能体数据引擎能有效消除噪声或无关语境，确保数据保持准确性与相关性。

Analyzer for Noun Extraction： 鉴于现有视频数据集大多包含简短的场景级描述，本文首先分析原始描述以精确捕捉句子中的名词，即视频场景中出现的物体。为此采用一个分析器（Qwen2-Instruct-7B）来提取名词，包括主语及其他相关名词。

Annotator for Object-level Caption Generation：为获取所提取名词的详细描述，本文采用通用视频理解模型（InternVL2-26B）作为标注工具，提示该模型专门针对物体本身提供全面描述，而非视频的整体叙事。为提高准确性与细节丰富度，本文对模型进行两次查询：分别强调动态行为与运动，以及突出静态外观与状态。

Segmentor for Mask Generation：为获取每个提取名词的像素级掩码作为对象级区域表征，本文首先从视频中随机选择一帧，将提取的名词作为输入文本提示，通过开放集定位使用GroundingDINO提取边界框。随后，采用HQSAM基于对应的框提示生成高质量掩码。为适应多帧输入，进一步使用SAM 2为每一视频帧生成掩码。

Reviewer for Correspondence Verification：为解决数据构建流程中可能存在的误差与不匹配问题，本文引入审查机制，通过"评审模块"验证掩码与文本描述的对应关系。具体流程如下：首先运用Osprey为特定帧生成区域级描述，随后评审模块（Qwen2-Instruct-7B）将判断Osprey生成的描述与标注器提供的描述是否指向同一对象。经过此筛选流程，我们仅保留40%的样本以确保数据准确性。

Refiner for Summarization&Refinement：最后，本文采用可靠的优化器GPT-4o对标注器生成的时空与外观描述进行总结和提炼。这一过程旨在进一步消除重复描述与幻觉内容，从而确保最终生成的对象级指令遵循数据集具备连贯性与准确性。

Data Characteristics

通过运用multi-agent data engine，本文精心构建了三种主要类型的物体级视频指令数据：详细描述、简短描述以及多轮问答对。

Object-level Detailed Caption：本文使用了大规模数据集Panda-70M的一个子集，该数据集为每个视频提供了简短描述。通过完整的多智能体数据引擎，生成了12.5万条高质量的对象级详细描述。

Object-level Short Caption：为生成简短描述（主要用于预训练中对象级编码器与大语言模型的对齐），本文采用了pipeline中的分析器和分割器。具体而言，在分析器中，仅提取单数名词，从而能够复用原始描述来生成简短说明。通过这种方法，生成了50万条简短描述。

Object-level QA：为生成明确指定特定对象或其关系的指令数据，本文收集了MeViS、Ref-YouTube-VOS 和A2DSentence数据集。这两类数据集均提供可靠的简短描述，并为每个对象区域提供掩码标注。利用这些简短描述和带掩码的视频，本文首先使用Annotator为每个区域生成对象级描述，随后通过多种提示词，调用Refiner生成与视频中对象相关的问答对。本文创建了三种基于区域的问答数据类型：（一）基础问题：涵盖对象类型、属性、动作、位置及随时间变化的交互关系。（二）推理问题：需要借助推理和背景知识来解释事件，而不依赖具体视觉细节。（三）未来预测：涉及对给定对象相关未来动作或事件的预测。共计生成7.5万组问答对。

Benchmark

为全面评估模型在视频区域理解方面的能力，本文开发了一个名为VideoRefer-Bench的基准测试集。该基准从两个关键维度对模型进行评估：描述生成（对应$\text{VideoRefer-Bench}^{\text{D}}$）与多项选择问答（对应$\text{VideoRefer-Bench}^{\text{Q}}$）。

$\text{VideoRefer-Bench}^{\text{D}}$

$\text{VideoRefer-Bench}^{\text{D}}$是专门设计用于评估基于视频的指代模型在描述生成方面的性能。该基准共包含400条经人工筛选的数据条目。本文基于Panda-70M数据集，采用Multi-agent Data Engine中所述的流程构建测试集，并进行了细致的人工核查。此外，本文文开发了一套基于GPT-4o模型的评估流程，通过从0到5的分值范围，在以下四个维度对模型生成的预测结果进行严格评估：

主体对应性（SC）：该维度评估生成描述的主体是否与真值中指定的主体准确对应。
外观描述（AD）：该标准评估外观相关细节的准确性，包括颜色、形状、纹理及其他相关视觉属性。
时序描述（TD）：该方面分析对物体运动的表征是否与实际运动保持一致。
幻觉检测（HD）：该维度通过判断生成描述是否包含任何现实中不存在的事实、动作或元素（如想象性解读或错误推断）来识别差异。

$\text{VideoRefer-Bench}^{\text{Q}}$

$\text{VideoRefer-Bench}^{\text{Q}}$旨在评估多模态大语言模型在解析视频对象方面的能力。本文精心构建了一个包含198个视频的数据集，视频来源涵盖DAVIS-2017和MeViS测试集等多个数据集。为确保评估的严谨性，本文标注了1000道高质量选择题，这些问题设计用于检验不同维度的理解能力，包括基础问题、序列问题、关系问题、推理问题及未来预测。关键的是，每个问答对都必须明确关联到视频的特定区域，这确保多模态大语言模型无法在不实际分析视频或指定对象的情况下作出回答。

图像描述长期以来一直是计算机视觉和自然语言处理领域中的一个挑战。大多数现有视觉语言模型（如GPT-4o）缺乏精确定位机制，近期赋予视觉语言模型（VLM）处理二维定位信息（如边界框）的研究方法通常仅生成简短短语，而非详细描述； 尽管存在一些方法能够生成长描述，但其提供的细节有限，或混杂了来自其他区域的无关内容，如图所示：

本文确定了Detailed localized captioning所面临的三个关键障碍：

1. 区域细节丢失： 如图所示，现有方法从全局图像表征中提取局部特征，这往往导致细粒度细节的丢失；裁剪感兴趣区域虽能增强细节表现，但可能丢失必要的上下文线索。
   
2. 高质量数据集的稀缺性： 诸如RefCOCOs和Visual Genome 等数据集通常仅提供简短短语，不足以训练模型生成丰富、详细的描述。近期基于合成数据的方法依赖于边界框，这些边界框无法精确传达目标区域的具体范围，而依赖全局描述的方法则难以捕捉非显著性区域。
3. 基准测试的局限性： 现有的局部化描述基准测试通常采用基于语言的图像描述评估指标或基于大语言模型的评分方法，将生成的描述与参考描述进行比较。然而，此类技术并不完全适用于密集局部化描述任务。由于基准测试提供的参考描述往往缺乏对区域的全面细节，密集局部化描述模型常因正确描述了参考文本中未明确提及的细节而受到不公正的评分。

Contribution

将本文的贡献总结如下：

1. Describe Anything Model（DAM）： 一种采用焦点提示与局部视觉主干网络的新型架构，用于多粒度区域图像与视频描述生成。
2. SSL Data Pipeline（DLC-SDP）： 一种利用高质量分割标注与未标注网络图像的半监督数据流水线，用于可扩展且多样化的数据构建。
3. DLC-Bench（DLC-Bench）： 一个设计用于在无参考描述条件下评估描述局部化控制（DLC）能力的基准测试集。

Method

Describe Anything Model（DAM）能够针对用户在图像和视频中指定的区域生成详细的局部化描述。通过本文提出的焦点提示与局部化视觉主干网络，DAM有效平衡了局部细节与上下文信息。

Task Formulation

详细局部描述任务涉及生成专门针对图像或视频内指定区域的全面文本描述。形式上，给定 $N$ 个输入帧 $I^{(i)} \in \mathbb{R}^{H \times W \times 3}$ 以及指示每一帧中感兴趣区域的对应二值掩码 $M^{(i)} \in {0, 1}^{H \times W}$ ，目标是通过描述模型生成该区域内容的详细描述 $T$ ： $$T = \text{CaptioningModel} \left( {I^{(i)}, M^{(i)}}_{i=1}^N \right)$$ 本文重点使用二值掩码 $M^{(i)}$ 作为定位输入，因为其他形式的定位（例如点、涂鸦、框，或图像上的掩码以及视频帧子集上的掩码）可以通过分割模型（如 SAM 和 SAM 2 ）转换为掩码。

Architecture

Focal Prompt

首先提取掩码$M$的边界框$B$，并在水平和垂直方向上按系数$\alpha$进行扩展，以包含额外的周边上下文： $$ B^{’} = \text{ExpandBox}(B, \alpha) $$ 随后，图像和掩码的焦点裁剪区域为： $$ I^{’} = I \vert B^{’}, \quad M^{’} = M \vert B^{’} $$ where $\vert B^{’}$ denotes cropping to $B^{’}$. 通过同时包含完整图像和局部裁剪图及其掩码，焦点提示既包含了全局上下文信息，又提供了感兴趣区域的详细视图。

Localized Vision Backbone

Handling Localization Inputs：完整图像 $I$ 及其掩码 $M$ 经过补丁嵌入层处理，随后通过全局视觉编码器 $f_{G}(\cdot)$ 获得全局视觉特征 $\mathbf{z}$。聚焦裁剪图像 $I^{’}$ 及其掩码 $M^{’}$ 则经过类似流程，由区域视觉编码器 $f_{R}(\cdot)$ 处理，不同之处在于 $f_{R}(\cdot)$ 同时将 $\mathbf{z}$ 作为上下文输入，以获得最终融合的视觉特征 $\mathbf{z}^{’}$。具体表达式如下： $$ \mathbf{x} = E_{\text{I}}(I) + E_{\text{M}}(M) + P, \quad \mathbf{z} = f_{\text{G}}(\mathbf{x}) $$ $$ \mathbf{x}’ = E_{\text{I}}(I’) + E_{\text{M}}(M’) + P, \quad \mathbf{z}’ = f_{\text{R}}(\mathbf{x}’, \mathbf{z}) $$ Regional Feature Encoding with Gated Cross-Attention Adapters：为将全局上下文融入焦点提示，本文在区域视觉编码器$f_{R}$的每个Transformer模块中插入门控交叉注意力适配器。在自注意力层和前馈层之后，添加了一个门控交叉注意力机制，使局部特征能够关注全局特征： $$\mathbf{h}^{(l)’} = \mathbf{h}^{(l)} + \tanh\left(\gamma^{(l)}\right) \cdot \text{CrossAttn}\left(\mathbf{h}^{(l)}, \mathbf{z}\right)$$ $$\mathbf{h}_{\text{Adapter}}^{(l)} = \mathbf{h}^{(l)’} + \tanh\left(\beta^{(l)}\right) \cdot \text{FFN}\left(\mathbf{h}^{(l)’}\right)$$ 其中，$\mathbf{h}^{(l)}$ 是 $f_R$ 中第 $l$ 个自注意力模块的输出，$\gamma^{(l)}$ 和 $\beta^{(l)}$ 是可学习的缩放参数（初始化为零）。为减少参数量，$f_R$ 与 $f_G$ 共享自注意力模块的权重。

Extension to Videos

由于图像可视为仅含单帧的视频，该模型自然能够通过处理帧序列及其对应掩码来扩展至视频处理。所有帧的视觉特征在序列维度上进行拼接，并输入语言模型以生成跨视频帧的详细定位描述，这与视觉语言模型预训练时处理视频的方式兼容。本文利用SAM 2 将稀疏定位信息转换为每帧的掩码。

DLC-SDP: SSL-based Data Pipeline

Stage 1: Leveraging Existing Annotations

DLC-SDP的第一阶段将数据生成问题重构为视觉基础的描述扩展任务。本文利用现有分割数据集中高质量的人工标注掩码和关键词（物体类别名称、部件名称、实体等），将视觉语言模型的查询任务重构为：在给定参考掩码的条件下，将每个区域关键词扩展为详细的描述性标题。

Stage 2: SSL with Unlabeled Data

由于依赖高质量人工标注不具备可扩展性，DLC-SDP的第二阶段采用了基于自训练的半监督学习技术，本文自训练方法包含四个步骤：

1. 掩码生成。采用开放词汇分割模型从未标注的网络图像中提取物体掩码。
2. 描述生成。基于标注分割数据集在DLC数据集上预训练的DAM模型，为这些区域生成详细的局部化描述。
3. 置信度过滤。遵循自监督学习文献的方法，应用基于CLIP的置信度过滤机制，仅保留高质量样本。
4. 数据扩展。新生成的（图像、掩码、描述）三元组被添加至训练数据集中。 此外，为支持DAM进行多粒度描述生成的能力，本文利用大型语言模型将详细描述总结为更简短的形式（如短语或短句），使DAM能够灵活地生成从简洁短语到多句子叙述的描述文本。

DLC-Bench: Benchmark for DLC

本文推出了DLC-Bench，这是一个专为密集图像描述（DLC）设计的基准测试，旨在消除对完整参考描述的需求。DLC-Bench的核心思想在于：理想的描述应包含丰富的相关细节，同时严格避免事实性错误或涉及无关区域的信息。因此，我们通过为每个区域预定义一组正向与负向属性来评估预测结果。

该方法提供了更为灵活和准确的评估，鼓励模型生成信息丰富且描述精准的文本，而无需受限于不完整的参考标注。

如何构建一种通用方法以有效解决跨图像与视频的特定区域任务，仍是一个待突破的挑战。

一个关键挑战在于实现视频序列的可扩展性。由于视频可能包含大量帧，依赖边界框坐标作为文本输入的方法面临扩展限制，因为输入的区域标记会随帧数线性增长。基于RoI的方法同样存在此问题，因为它们需要从空间区域重复提取视觉特征（如下图a所示）。而依赖单帧（例如初始帧）作为替代方案亦非最优选择，因为其在后续帧中缺乏对目标的可靠参照。

另一个挑战在于解决时序漂移问题。目前尚无标准化方法能够将不同帧中表示同一物体的多个向量（例如每帧中的边界框）统一为单一且一致的向量。这一问题在视频中尤为突出，因为目标物体在帧间常因运动、尺度变化和视角改变而发生外观变化。因此，将RoI区域特征合并为单一表征可能会引入不一致性，导致关键视觉细节的丢失。我们发现先前方法的一个关键局限在于其依赖的表征可能无法在帧间持续稳定地捕获目标区域，尤其是在追求图像与视频统一解决方案的背景下。

Contribution

本文提出了Omni-RGPT，这是一个多模态大语言模型，旨在实现对图像和视频的区域级理解。Omni-RGPT在基于图像和视频的常识推理基准测试中取得了最先进的性能，同时在描述性生成和指代表达理解任务中展现出强大能力。

• 引入了Token Mark来保证模型在时空维度上保持一致的区域表征；
• 引入了一项辅助任务，进一步支持无需轨迹标注的鲁棒视频理解。该任务利用标记的一致性引导Token Mark，实现视频中稳定的区域解析；
• 构建了一个大规模区域级视频指令数据集（RegVID300k）。

Method

本文基于 LLaVA 的核心设计，其中输入的图像或视频 $X \in \mathbb{R}^{T \times 3 \times H_0 \times W_0}$（图像的 $T=1$）由视觉编码器 $f(\cdot)$ 处理，产生视觉特征。通过一个投影层，这些视觉特征随后被投影为视觉标记 $V \in \mathbb{R}^{T \times D \times H \times W}$，其中 $D$ 是大语言模型（LLM）的输入维度。随后，视觉标记由 LLM $\mathcal{F}_{LLM}(\cdot)$ 配合文本提示词进行处理，从而实现跨文本和视觉模态的联合推理。

模型的目标是通过引入 $N$ 个输入区域提示 $\{m_i\}_{i=1}^N$，使模型能够响应输入文本提示并理解特定的视觉元素，其中每个 $m_i \in \{0, 1\}^{H_0 \times W_0}$ 定义了一个目标区域（例如边界框或掩码）。这些区域提示与文本提示中作为占位符的特殊标记 <region> 相对应，用于在时空维度上识别和推断指定区域。

Token Mark

将 令牌标记 (Token Mark) 定义为一组令牌 $F \in \mathbb{R}^{N_F \times C}$，其中 $N_F$ 是令牌的总数，$C$ 表示特征维度。为了使用 Token Mark 表示一个区域，从 $[N_F]$ 中无放回地均匀采样 $N$ 个索引，获得令牌集 $R = \{r_i\}_{i=1}^N$ 。每个采样的令牌 $r_i$ 随后与对应的区域提示 $m_i$ 一一匹配，使得第 $i$ 个 Token Mark 与第 $i$ 个区域提示对齐。

这些令牌作为时空区域指示符，并被注入到相关视觉内容的语言侧输入中。具体而言使用一个线性层将 Token Mark 直接投影到词嵌入空间：$\hat{R} = \mathcal{F}_{proj}(R) \in \mathbb{R}^{N \times D}$ 。

为了将采样的令牌 $r_i$ 与其对应的区域 $m_i$ 联系起来，将令牌嵌入到由区域提示定义的像素中。具体来说，每个像素位置 $(h, w)$ 处的空间令牌标记 (Spatial Token Mark) $S \in \mathbb{R}^{C \times H_0 \times W_0}$ 的计算公式为： $$S_{:,h,w} = \frac{\sum_{i=1}^{N} m_{i,h,w} \cdot r_i}{\epsilon + \sum_{i=1}^{N} m_{i,h,w}}$$

其中 $\epsilon$ 是一个微小的正系数，用于防止在位置 $(h, w)$ 没有激活掩码时出现除零情况 。接着，应用自适应平均池化来下采样 $S$，以匹配视觉令牌 $V$ 的形状，从而获得更新后的空间令牌标记 $\tilde{S}$ 。然后，使用共享投影层将其投影到词嵌入空间中，得到 $\hat{S} = \mathcal{F}_{proj}(\tilde{S}) \in \mathbb{R}^{D \times H \times W}$ 。最后，我们将空间区域特定信息整合到视觉令牌中：$\hat{V} = V + \hat{S}$ 。

该方法具有几个关键优势：

i) 防止时间漂移 (Preventing temporal drift)：通过将目标区域编码为跨帧共享的唯一表示，该方法确保了在整个视频序列中区域分配的一致性；

ii) 直接的区域-语言连接 (Direct region-language connection)：将 Token Mark 直接投影到词嵌入空间内，能够实现高效的区域-语言关系建模；

iii) 保持视觉-语言全局对齐 (Preserving vision-language global alignment)：通过将区域信息作为残差特征 (residual features) 整合，该架构保持了与基础图像-文本对多模态框架（如 LLaVA）的对齐 。在没有区域提示的情况下，模型的功能与基础架构完全一致。

Temporal Region Guide Head

对于视频输入，在训练过程中引入了一个辅助头，以增强跨帧的区域一致性，确保即使仅在第一帧提供了区域提示（region prompt），也能实现对区域的准确表示 。该辅助头对每个视觉标记（visual token）对应的令牌标记（Token Mark）进行分类，从而隐式地引导模型理解目标区域，而无需依赖来自轨迹片段（tracklets）的显式视频对象对应关系 。

令 $V_t$ 表示第 $t$ 帧的视觉标记，从而形成整个视频的视觉标记序列，记作 $V_{vid} = (\hat{V}_1, V_2, \dots, V_T)$，其中 $\hat{V}_1$ 包含目标区域信息。序列 $V_{vid}$ 随后由语言模型处理，该模型旨在为整个视频序列生成区域感知（region-aware）的预测。

辅助分类头 $\mathcal{F}_{aux}$ 的执行过程如下： $$\mathcal{F}_{aux}(\mathcal{F}_{LLM}(V_{vid})) \in \mathbb{R}^{T \times H \times W \times (N_F + 1)}$$

其中 $N_F + 1$ 是分类类别（包括 $N_F$ 个令牌标记和背景）。

由于视觉标记是从原始输入分辨率下采样（downscaled）而来的，单个视觉标记内可能存在多个令牌标记。为了处理这种情况，本文应用了软标签分类（soft-label classification），为每个标记分配一个在 $N_F + 1$ 个类别上的软标签分布，以反映每个标记属于多个区域或背景的比例。

Loss Function

最终损失定义为 $\mathcal{L} = \mathcal{L}_{LLM} + \alpha \mathcal{L}_{aux}$，其中 $\alpha$ 用于平衡辅助分类损失的贡献。语言模型损失 $\mathcal{L}_{LLM}$ 计算为预测令牌与ground truth令牌之间的交叉熵损失。同时，辅助分类损失 $\mathcal{L}_{aux}$ 定义为每个视觉标记的预测软标签分布与ground truth软标签分布之间的交叉熵损失。该区域引导头仅在训练期间使用，不会在推理（inference）过程中引入额外的延迟。

Dataset

由于目前尚不存在区域级的视频指令数据集，本文提出了 RegVID-300k，旨在增强多模态大语言模型 (MLLM) 的对话能力，并获得对视频中各区域的准确响应 。本文的方法包含三个步骤：

i) GPT4o 辅助的区域级详细字幕生成； ii) 视觉幻觉减轻； iii) 字幕引导的区域级指令样本生成 。

数据集构成如下：

• i) 大规模：我们的数据集包含 9.8 万个独特视频、21.4 万个轨迹或掩码片段 (tracklets/masklets) 以及 29.4 万条指令（如区域级详细字幕和对话）。
• ii) 多样化：视频收集自 10 个用于不同任务的公共数据集 。
• iii) 细粒度问答 (QAs)：每个区域的描述约 60 个词，包含区域的上下文和时间信息，从而生成多样的指令样本 。
• iv) 高保真度：减轻了详细字幕中的视觉幻觉 。 数据收集：视频收集自 10 个包含标注区域（如掩码片段、轨迹片段或单帧边界框）及名词的公共数据集 。
  

GPT4o-Assisted Region-level Captions

从视频和区域掩码片段对中，本文借鉴了 SoM 的视觉提示技术，在视频的每一帧中，将带有区域索引的物体掩码覆盖在每个掩码的中心。随后，我们将经过 SoM 处理的视频输入 GPT4o ，通过在文本提示词中加入名词（如“生成 [0]: 猫, [1]: 猫, [2]: 手 的详细描述”），请求生成包含每个掩码片段上下文和时间信息的丰富字幕 。

Visual Hallucination Mitigation

受到 VFC 的启发，本文应用 LLM 和 MLLM 进行多阶段的视觉幻觉减轻 。首先，利用 LLM 将详细的区域级字幕分解为多个针对字幕内容的封闭式问题 。然后，将这些问题连同视频一起输入 MLLM，以验证内容是否正确 。在第三阶段，收集在前一步中未通过验证的问题，并要求 LLM 删除原始字幕中未经验证的内容并重新生成字幕 。

GPT-Assited Region-level Instruction Data

在最后一步中，基于字幕引导的指令微调数据构建理念，本文进一步处理字幕以生成区域级视频指令 。利用纯文本 GPT4 从详细字幕中创建区域特定的问答对，涵盖字幕的各个方面 。样本包括详细描述、总结以及针对特定区域的通用问答 。本文提供了一些上下文示例 (in-context examples) 以提高样本生成的质量 。生成的指令涵盖了上下文方面（如颜色、空间位置）和时间方面（如动作、行为）。

近期研究致力于通过视觉提示赋予视觉-语言模型区域级理解能力。现有方法可分为三种范式：

这些方法通常存在若干限制：(i) 它们通常仅产生有限的语义输出——往往只是类别标签或简短描述；(ii) 其设计是模态特定的，仅专注于单一的视觉模态（图像或视频），通 用性有限；(iii) 它们依赖外部分割模型来提供掩码，这种串行设计增加了计算开销，并使整体性能对掩码质量敏感。

本文提出感知万物模型（PAM），这是一种端到端的区域级视觉语言模型，旨在实现对图像和视频的快速、全面的细粒度视觉理解，其能力包括预测类别、解释已识别区域元素的定义与上下文功能，并生成针对特定区域的详细描述。

Method

给定视觉提示（如点、框或掩码）以指定感兴趣区域，感知万物模型（PAM）能够同时实现：

（1）分割：在图像或整个视频中为指定区域生成精确的分割掩码。 （2）识别：判定指定区域或对象的类别。 （3）解释：清晰阐述该区域或对象在其给定语境中的定义、属性与功能。 （4）描述：为图像、视频及视频流中的区域生成简洁或详细的描述文本。

Semantic Perceiver

语义感知器的架构模仿了 SAM 2 的特征融合模块 (S2-FFM)，它接收两个主要输入：

• 来自 S2-FFM 的增强掩码标记（Enhanced mask tokens）：结合了 IoU 和提示标记信息，作为精确掩码生成的唯一标识符；
• S2-FFM 处理后的更新图像嵌入（Updated image embeddings）：捕获通用的视觉上下文，以及通过与掩码标记交互而增强的隐式特征。
  
  接着将 $N_s$ 个可学习的语义标记（Semantic tokens）与增强的掩码标记连接。最后，通过语义感知器内的进一步注意力机制，我们可以提取出富含通用视觉和物体级定位信息的视觉标记。给定 $N$ 帧的输入，语义感知器输出两组 256 维向量：$64^2 \times N$ 个视觉标记和 $N_s \times N$ 个语义标记（默认 $N_s = 16$）。

Projector

位于大语言模型 (LLM) 之前的投影层包含两部分：一个像素重组 (Pixel shuffle) 操作和一个 MLP 投影器：

• 对于图像输入： 在相邻的 $2\times2$ 特征块上应用像素重组操作，以对视觉标记的数量进行下采样（减少 Token 数量）；
• 对于视频输入： 被提示的帧（Prompted frame）的处理方式与单张图像类似；而视频剪辑中的其余帧则经历更激进的 $4\times4$ 像素重组操作，以显著减少视觉标记，从而进一步提高语义解码器的处理效率。 随后，使用两个独立的 MLP 分别对视觉标记和语义标记进行空间投影对齐。

Streaming Video Encode and Decode

基于 SAM 2 通过记忆模块在每帧中逐步引入历史信息的机制，本文提出了一种简单直接的策略，用于实现区域级流式视频字幕生成。

本文会对每个视频剪辑的最后一帧额外应用一次 $2\times2$ 的像素重组操作。这会产生更高密度的视觉标记，从而改善历史视觉信息的保存，这些标记随后作为下一个视频剪辑的“初始帧”。这种方法确保了每个剪辑的处理保持一致，并有效地将上一个剪辑的关键历史信息传递到下一个。 此外，本文将之前的文本描述纳入提示词中，以进一步增强上下文历史，提升模型对正在发生的事件的理解和描述准确性。

在实践中，本文的框架允许用户灵活指定解码时间戳。到达指定时间戳时，模型会描述当前时间戳与前一个时间戳之间的时间间隔内的指定区域。

Training Strategies

采用三阶段的课程学习 (Curriculum learning) 方法来构建训练过程，逐步增强 PAM 从图像到视频的区域级视觉理解能力：

• 阶段 1：图像预训练与对齐 (Image Pretraining and Alignment) 侧重于建立视觉标记、语义标记与语言模型嵌入空间之间的稳健对齐。 主要目标是使模型能有效理解区域级图像内容。在此阶段，仅训练语义感知器和投影层。
• 阶段 1.5：视频增强预训练与对齐 (Video-Enhanced Pretraining and Alignment) 通过引入区域级视频字幕来扩展图像训练，使模型能够通过整合时空视觉信息来理解动态场景。 可训练模块与阶段 1 相同。
• 阶段 2：多模态微调 (Multimodal Fine-Tuning) 采用监督微调 (SFT) 使模型能够执行多样化任务并生成所需的响应。 此阶段利用了经过细化和增强的高质量数据集。训练共同涉及语义感知器、投影层和语义解码器（LLM）。

Dataset

本文开发了一套稳健的数据精炼与增强流程，用以构建高质量训练数据集。该数据集具备三个关键特征：

(1) 广泛的语义粒度。提供从粗粒度（类别、定义、上下文功能）到细粒度（细节描述）的多样化视觉语义标注； (2) 区域流式描述标注。首个专门为流式视频区域描述任务构建的标注数据集）； (3) 双语标注，同时支持英语与中文。

Image Dataset

Regional Recognition, Explanation, and Caption： 对于区域识别，本文利用了多个实例检测、分割以及场景文本识别数据集。在这种背景下，边界框或掩码作为视觉提示输入，而标签则作为输出处理。

为了实现超越简单分类的深度、精细视觉理解，本文提出了一个增强流程，为每个特定区域生成：清晰的概念解释、上下文功能角色以及详细描述 。为实现这一目标，本文利用“Set of Mask”方法来识别感兴趣区域，并利用原始标注作为引导，促使模型产生所需的响应，随后进行人工质量保证 。

Video Dataset

Region-level Video Caption： 为了将模型的区域描述能力扩展至视频领域，本文收集并分析了多个现有视频数据集，包括指代检测与分割数据集，以及近期为SAV数据集构建的Sa2VA标注。这些为基于文本描述检测、分割和描述视频中特定对象而设计的数据集，其描述往往过于粗略、简单、不准确，或主要关注静态信息，忽略了物体运动、交互关系及状态变化等贯穿视频的关键时序细节。

本文提出故事板驱动的描述扩展方法以克服局限 ：首先从视频均匀采样六帧关键帧 ，将其合成为高分辨率故事板 ，并使用SoM技术高亮目标对象 。接着，以原始标注为条件，提示GPT-4o结合多帧整合信息生成详尽且具时序感知的描述 。这种多帧机制比单帧分析更能增强上下文理解，从而获得更高质量的描述 。

Region-level Streaming Video Caption： 为了将模型能力扩展至流式处理模式，本文首先采TRACE-Uni模型将输入视频分割为多个独立事件，每个事件均由其时间边界界定。随后，对每个分割后的视频片段，应用相同的“故事板驱动”处理方法。为生成精确且连续的事件描述，重新设计了GPT-4o输入提示，通过迭代方式将前序视频片段的描述作为上下文信息纳入当前片段的处理流程。

本质上，referring和grounding需要同类型的知识：空间信息与语义的对齐。尽管如此，现有研究大多将指代表达与视觉grounding作为独立任务进行学习。

本文旨在探讨以下三个核心问题：

1. 如何在统一框架中整合referring与grouning，二者能否相互促进？
2. 如何表征人类referring时通常使用的多样化区域类型，例如点、方框、涂鸦乃至自由形状？
3. 如何使referring与grounding具备开放词汇、指令跟随及鲁棒性，这些特性对实际应用至关重要？

Contribution

1. 提出了Ferret模型，它采用了一种混合区域表示方法，并配备了一种新颖的空间感知视觉采样器，从而能够在多模态大语言模型中实现细粒度和开放词汇的referring与grounding。
2. 构建了GRIT数据集，这是一个用于模型训练的大规模grounding与referring指令微调数据集。该数据集还包含了额外的空间负样本，以增强模型的鲁棒性。
3. 引入了Ferret-Bench评估基准，用于综合评价需要同时处理referring/grounding、语义理解、知识运用和推理能力的任务。我们的模型在广泛的任务中展现出卓越的性能，并有效减少了物体幻觉现象。

Method

Hybrid Region Representation

在指代特定区域时，通常采用三种主要格式：点状、框状和自由形状。点状和框状格式可通过坐标简洁表示，而通过坐标描述自由形状不仅计算成本高昂且表达晦涩，其复杂性还会阻碍模型学习建立所给坐标与对应区域之间的清晰关联。

为统一处理三种不同的区域表示格式，本文提出一种混合区域表示方法，该方法将离散坐标与连续视觉特征协同融合以指向特定区域。

• 坐标处理方面：遵循之前的方法，我们将每个坐标量化为nbins个离散区间之一。默认情况下，nbins = 1000。该值具有输入不变性，这意味着对于任何输入图像尺寸，原始坐标都将被映射到新坐标。这使得模型能够适应不同的输入分辨率。
• 连续视觉特征提取方面：对于给定区域 $R$ ，我们首先构建与原始图像尺寸相同的二维二值掩码 $M$ ，在目标区域内标记为1，区域外标记为0。随后，将该二值掩码 $M$ 与提取的图像特征图 $Z$ 共同输入至我们提出的空间感知视觉采样器 $s(\cdot)$（详见第2.2节），以提取视觉连续特征 $f = s(M, Z)$ 。 最终，点被表示为 $\{x, y, \mathbf{f}_{R_{p}}\}$ ，$R_{p}$是以 {x, y} 为中心的固定半径的圆。框和自由形状被表示为 $\{x_{min}, y_{min}, x_{max}, y_{max}, \mathbf{f}_{R_{box}}\}$ （我的理解就是他的外界矩形框 + $R_{box}$）。

Architecture

Input

图像输入到预训练的Image Encoder中（CLIP-ViT-L/14），提取image embeddings $Z \in R^{H \times W \times C}$；文本输入到分词器中分词并投影为 $T \in R^{L \times D}$ ；指代区域被表示为<区域名称> <坐标> <SPE>，SPE是一个特殊标记。通过这种方式，指代区域能够与普通文本充分融合，形成完整的句子。

Spatial-aware Visual Sampler

给定提取的图像特征图 $\mathbf{Z} \in \mathbb{R}^{H \times W \times C}$ 和二值区域掩码 $\mathbf{M}$ ，在 $\mathbf{M}$ 内随机采样 $N$ 个正样本点（其特征通过双线性插值得到）。将 $N$ 个点送入一系列级联的模块中，每个模块包含采样，聚合和池化。

1. 采样：利用最远点采样 (FPS) 算法从 $N$ 个点中采样出 $\frac{N}{r}$ 个点，这可以保证足够的覆盖范围。
2. 聚合：对于每个采样点 $x_i$，从之前的 $N$ 个点池中搜索其 $k$ 个最近邻点，从而得到一组点 ${x_{i1}, x_{i2}, \dots, x_{ik}}$ 。对于每个点组，将采样点 $x_i$ 及其邻近点的特征按以下公式进行融合： $$h_{ik} = \sigma([\theta([\mathbf{Z}(x_{ik}) - \mathbf{Z}(x_i); C(x_{ik}) - C(x_i)]); \mathbf{Z}(x_i); C(x_i)])$$ $C(x)$ 表示点 $x$ 的二维坐标，$\theta$ 是一个线性层，用于适应相对局部特征；$\sigma$ 也是一个线性层，用于将来自邻居的局部特征与采样点特征进行融合。
3. 池化：执行最大池化 (Max Pooling)，将 $k$ 个邻居特征融合为一个特征，作为该采样点的表示： $$h_i = \max_{k:(x_{ik}) \in \text{KNNs of } x_i} h_{ik}$$ 经过这三个步骤，获得了更少的点，但拥有了更稠密的特征空间，因为它结合了局部邻居特征及其相对位置。这个模块最终输出 32 个点及其特征。将这些点特征展平为一个向量，并将其投影到 LLM 嵌入的维度。最终的特征将用于替换输入中的 $\langle \text{SPE} \rangle$ 标记。

Datasets

[!CITE] In this section, we present GRIT, a Ground-and-Refer Instruction-Tuning dataset containing around 1.1M multimodal dialogues for model training.

GRIT包含三类数据：

1. 转换为指令遵循格式的公开数据集
2. 通过ChatGPT和GPT-4生成的指令微调数据
3. 来自空间负例挖掘的附加数据，用于增强模型鲁棒性

HIERARCHY

空间理解可以通过不同的粒度级别和任务格式来表征 。在创建数据集期间，本文从以下两个维度进行考察：

• 就粒度而言，本文确定了四个主要类别：(i) 单个物体，(ii) 物体间的关系，(iii) 特定区域的描述，以及 (iv) 基于区域的复杂推理 。
• 就任务格式而言，本文将数据进一步分为三种截然不同的类型：(i) Region in - Text out数据，(ii) Text out - Region out数据，以及 (iii) Text-Region结合数据 。

各类别数据详情：

• 单个物体 (Individual objects)：本文选择了 Visual Genome、Object365 等目标检测数据集 以及 RefCOCOs 和 Flickr30k-Entities 等视觉定位数据集 。此外，为了让 Ferret 理解自由形状，本文利用 SAM 对 Visual Genome 物体数据获取分割掩码，并在训练期间将其输入视觉采样器 。该部分共有 67.8 万条数据 。
• 物体间关系与区域描述 (Relationships & descriptions)：本文从 Visual Genome 中选择了相关数据，均采用Region in - Text out格式，共获得 17.7 万条数据 。
• 基于区域的复杂推理 (Region-based complex reasoning)：针对以特定区域为中心的复杂推理，本文在 ChatGPT/GPT-4 的帮助下构建了一个新颖的数据集 。它采用了Text-Region结合的格式 。

GPT-ASSISTED VISUAL INSTRUCTION DATA GENERATION

对话指令微调数据对 MLLM 理解人类意图生成流利响应至关重要 。利用少样本提示，基于图像的文本描述让 ChatGPT/GPT-4 生成对话 。本文通过三个步骤强调基于区域的空间知识：(i) 包含物理关系和区域描述，(ii) 在对话中为可定位区域加入坐标，(iii) 再次利用 GPT-4 对生成的对话进行精炼优化 。共收集 3.4 万条对话 。此外，利用 GLIPv2 对 LLaVA 数据进行处理，形成伪定位标注数据供训练使用 。

SPATIAL NEGATIVE MINING

MLLM 容易在是非题中产生幻觉 。为了解决这一问题，本文通过以下两种方式进行负样本挖掘：(i) 图像条件类别定位（随机选择图像中不存在的类别）和 (ii) 语义条件类别定位（利用 GPT-4 寻找与原类别极其相似但不存在的实体，如“男”对比“女”，“蓝”对比“黄”） 。共收集 9.5 万条数据，以增强模型的鲁棒性并减少幻觉 。

Benchmarks

本文提出Ferret-Bench，它涵盖了三类评估指代和定位能力的区域相关问题：

• (i) 指代描述 (Referring Description)：要求模型根据指代区域与其周围物体的交互来描述该区域。
• (ii) 指代推理 (Referring Reasoning)：模型需要在一个或多个指代区域的基础上进行正确的推理。
• (iii) 对话中的定位 (Grounding in Conversation)：模型需要进行正确推理，并准确地定位/找回推理所需的物体/区域。

具体而言，本文针对每种类型的问题从 COCO 验证集中随机采样ferr 40 张图像，并按照 GPT-ASSISTED VISUAL INSTRUCTION DATA GENERATION 中的指令生成流程生成问题和 GPT-4 的答案。本文将问题和图像输入 MLLMs 以获取预测答案，然后提示 GPT-4 根据真实场景描述（包括物体、关系、区域说明、全局说明）对预测答案和来自 GPT-4 的伪答案进行评分。GPT-4 会评估指代理解的精准度、物体定位效果以及语义的正确性。评分范围为 1 到 10，分数越高表示表现越好。计算预测答案得分与 GPT-4 答案得分的比率，并以百分比形式呈现，以此衡量 MLLM 的表现。

基本使用

我之前一直都是，在哪个网站买的域名，就在哪里做DNS的解析。后来发现首先是Cloudflare来做DNS解析的话，有很多额外free的功能很好用，比如说提供长期的、支持子域名的SSL证书，做缓存Always Online，免费CDN加速（不过在国内好像是反向加速……），人机验证等等。 拿liushiguang.com这个域名来举例：

邮件路由

用这个方法可以理论上获得无限的邮箱。 原理其实很简单，就是在解析域名的时候加上几条DNS记录，使得发送到该域名（比如 xxx@liushiguang.com）的邮件会被转发到你设置好的邮箱里面。当然也可以把邮件转发到Cloudflare的Worker来做一些自动化的处理操作，但其实我主要还是转发到邮箱里面。

Cloudflare R2

S3兼容API

Cloudflare R2支持通过S3兼容的API来访问，免费额度有10G的存储空间；A类操作（PUT、LIST等）每月100w次，B类操作（GET等）每月1000w次。白嫖就是爽。 以CherryStudio的S3兼容存储备份为例，把流程列一下。

图床

Cloudflare Turnstile

这个问题是很早之前的一个问题了，我早就解决了，今天想起来了来记录一下。

问题描述

将系统更新到Ubuntu24.04之后（其实主要是因为Gnome更新到了46了），然后在gnome-tweaks中设置Legacy Applications的时候无法应用到Nautilus以及系统Settings的样式上。

¹ 貌似是因为Gnome更新之后，不能这样了，得用下面的方法：

在下载的xxx主题里面找到gtk-4.0文件夹，然后用它替换掉~/.config/gtk-4.0文件夹，就ok了。

感觉还挺麻烦的。。。

问题描述

就是下面这样：

解决过程

最开始的时候是我的nautilus里面的icon不能按照我配置的GTK的主题来显示了，就显示的是很普通那种icon，然后我想着这种问题应该log out一下再回来就可以了，问题不大。

结果我log out之后，就出现了上面这种问题，我一下不知道怎么弄了。理所当然的就去google: “ubuntu24.04 desktop show white”、“ubuntu24.04 wallpaper show whole white"这种搜索，然后到askubuntu包括reddite等论坛看了很多帖子，都没法解决我的问题。

然后当然我也重启了很多次，也没用当然，但是重启后打开桌面会显示下面的这个东西：

今天我又看到这个，我想我搜了那么多都搜不到，为啥不直接检索这个 “@!0,0;BDHF” 看看能不能搜索出来啥东西呢？但我说实话，这个东西我也不陌生，就是之前很莫名奇妙会出现的一个我的桌面icon的重影，我也不知道怎么关掉的，但是不影响我的正常使用，我也就一直没管。

结果一搜还真给我搜出来了¹，askubuntu上面的一个帖子，然后其实问题就出在Desktop Icons Next Generation (DING)这个gnome-shell extension上面，当然我也不知道原理是啥，我就把这个extension给disable了，一切就恢复正常了！

检查已安装字体： fc-list 字体文件夹：/usr/share/fonts、/home/username/.local/share/fonts、/home/username/.fonts

全局安装字体

1. 确保/usr/share/fonts目录存在
2. 将已经下载的字体文件（ttf、otf）复制到/usr/share/fonts目录中：sudo cp *.ttf /usr/share/fonts
3. 为了让系统识别新字体，运行以下命令更新字体缓存：sudo fc-cache -f -v

当前用户安装字体

1. 确保~/.fonts目录存在
2. 将下载的字体文件复制到~/.fonts目录中：cp *.ttf ~/.fonts
3. 为当前用户的字体更新字体缓存：fc-cache -f -v

二级访问目录

二级访问目录并不是一个好方法，主要是因为直接对该域名下的目录进行了绑定，对绑定在根域名上的服务很不利，容易造成污染。

最开始我采用的是这种方法，好处就是做SSL的时候，实际上每项服务实际上都部署在同一个域名下，SSL无需绑定泛域名。

server {
	# 其他配置
	...
	
	# Nextcloud 网盘 为例
	location /nextcloud/ {
					# 反向代理到nextcloud服务
					proxy_pass http://127.0.0.1:8248/; # 最后的/很重要
					proxy_set_header HOST $host;
					proxy_set_header X-Forwarded-Proto $scheme;
					proxy_set_header X-Real-IP $remote_addr;
					proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	}
}

子域名

这种方式应该是常用的一种方式，比如：https://www.163.com/、https://mail.163.com/、https://music.163.com/用子域名的方式同时提供了多项服务。

我目前服务器上的服务基本都采用这种方式通过nginx反向代理，不方便的地方就是需要为子域名单独配置SSL，由于目前貌似只有  Cloudflare 提供免费的泛域名SSL证书，所以其实我的主要域名都全面转向Cloudflare了😄。

server {
	# 其他配置
	server_name cloud.example.com;

	# Nextcloud 网盘 为例
	location / {
					# 反向代理到nextcloud服务
					proxy_pass http://127.0.0.1:8248/;
					proxy_set_header HOST $host;
					proxy_set_header X-Forwarded-Proto $scheme;
					proxy_set_header X-Real-IP $remote_addr;
					proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	}
}

在SSL服务提供商处，下载Nginx（适用大部分场景）（pem文件、crt文件、key文件）格式的SSL证书

2. 安装SSL证书到Nginx服务器

前置：为Nginx安装好SSL模块

nginx -V 2>&1 | grep -o -- '--with-http_ssl_module'

执行以下命令，若输出--with-http_ssl_module则说明已安装 SSL 模块，否则需进行安装。

a. 将domain.key和domain_bundle.crt文件放在服务器/etc/nginx/cert中 b. 添加监听443端口的server块

server {
    listen 443 ssl default_server;
    server_name yourdomain.com www.yourdomain.com;
    
    # ======================= 证书配置开始 =======================
    # 指定证书文件（中间证书可以拼接至该pem文件中），请将 /etc/nginx/cert/ssl.crt 替换为您实际使用的证书文件的绝对路径
    ssl_certificate /etc/nginx/cert/ssl.crt;
    # 指定私钥文档，请将 /etc/nginx/cert/ssl.key 替换为您实际使用的私钥文件的绝对路径
    ssl_certificate_key /etc/nginx/cert/ssl.key;
    # 指定允许的 TLS 协议版本，TLS协议版本越高，HTTPS通信的安全性越高，但是相较于低版本TLS协议，高版本TLS协议对浏览器的兼容性较差
    ssl_protocols TLSv1.2 TLSv1.3;
    # 自定义设置使用的TLS协议的类型以及加密套件（以下为配置示例，请您自行评估是否需要配置）
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
    # 优先使用服务端指定的加密套件
    ssl_prefer_server_ciphers on;
    
    # 配置 SSL 会话缓存，提高性能
    ssl_session_cache shared:SSL:1m;
    # 设置 SSL 会话超时时间
    ssl_session_timeout 5m;
    # ======================= 证书配置结束 =======================
   
    # 其它配置
    ...
}

c. 可选：设置 http 请求自动跳转到 https。在原有监听 80 端口的 server 块中添加 return 指令即可。

# 原有监听 80 端口的 server 块
server {
    listen 80;
    server_name yourdomain.com www.yourdomain.com;
        
    # 设置HTTP请求自动跳转到HTTPS
    return 301 https://$host$request_uri;
    
    # 原有其它配置
    ...
}

3. 验证SSL证书是否安装成功

a. 请通过 HTTPS 访问您已绑定证书的域名（如 https://yourdomain.com，yourdomain.com 需替换为实际域名）。 b. 若浏览器地址栏显示安全锁图标，说明证书已成功部署。如访问异常或未显示安全锁，请先清除浏览器缓存或使用无痕（隐私）模式重试。

RNN¹（Recurrent Neural Network）是一种循环神经网络，用于处理序列数据。与传统的前馈神经网络不同，RNN具有循环连接，使得它可以在处理序列时保持一种记忆状态。

在 RNN 中，每个时间步都有一个隐藏状态（hidden state），它可以接收当前时间步的输入和上一个时间步的隐藏状态作为输入。隐藏状态的输出不仅取决于当前时间步的输入，还取决于之前所有时间步的输入。这种循环连接使得RNN可以处理变长序列，并且能够捕捉到序列中的时序信息。

RNN 在自然语言处理（NLP）等领域有广泛的应用，例如语言建模、机器翻译、情感分析等任务。由于 RNN 能够处理变长序列，并且可以保持记忆状态，它在处理自然语言时可以考虑上下文的信息，捕捉到词语之间的依赖关系和语义信息。

此外，RNN 也可以应用于时间序列预测，例如股票价格预测、天气预测等。RNN 可以根据过去的时间序列数据预测未来的趋势，对于具有时序依赖的数据具有一定的优势。

然而，传统的RNN在处理长序列时存在梯度消失和梯度爆炸的问题，这限制了其对长期依赖关系的建模能力。为了解决这个问题，出现了一些改进的 RNN 变体，如长短期记忆网络（LSTM）和门控循环单元（GRU），它们引入了门控机制来控制记忆状态的更新，改善了对长期依赖的建模能力。

LSTM

LSTM²（Long Short-Term Memory）是一种改进的循环神经网络（RNN）架构，旨在解决传统 RNN 中的梯度消失和梯度爆炸问题，以及增强对长期依赖关系的建模能力。

LSTM 引入了一个记忆单元（memory cell），该单元可以存储和访问信息，并通过门控机制来控制信息的流动。LSTM 的关键部分包括输入门（input gate）、遗忘门（forget gate）、输出门（output gate）。

遗忘门（forget gate）

回到我们语言模型的例子，试图根据所有以前的单词来预测下一个单词。在这样的问题中，单元状态可能包括当前主题(subject)的性质，从而可以使用正确的代词。当我们看到一个新主题时，我们想要忘记老主题的性质。

输入门（input gate）

我们将旧的状态乘以 ft，去忘记那些我们之前决定忘记的东西。然后我们向状态中添加 $t_{t}*\tilde{C_t}$ 。这是新的候选值，并且按照我们决定更新每个状态值的程度来缩放。

对于语言模型来说，这就是我们实际删除旧主题性质的信息，并添加新信息的地方，正如我们在之前的步骤中决定的那样。

输出门（output gate）

以语言模型为例，由于它只看到一个主题，如果后续是一个动词，它可能需要输出与动词相关的信息。例如，它可能会输出主题是单数还是复数，以便我们知道接下来的动词应该是什么形式。

GRU

广义来讲，在Linux中支持  三种睡眠模式 ，分别是:

• Suspend to RAM，即狭义的挂起（Suspend），本文后面提到挂起都是指这种模式。
• Suspend to Disk，即我们常说的休眠（Hibernate）。
• Suspend to Both，也被称作Hybrid Suspend，是上面两种模式的混合，兼具两种模式的优点（和缺点）。

Ubuntu桌面版默认只有挂起（Suspend）模式，没有启用休眠（Hibernate）模式。

挂起和休眠的目标都是保存冻结系统当前状态，后续需要时“快速”唤醒恢复，但是两者的实现方式是不同的。

挂起时系统的运行数据仍然保存在内存（RAM，通常也叫MEM）中，所以系统还是会以较低的功耗消耗电池电量。这种状态下唤醒系统恢复非常快速，在普及SSD的现在是包括苹果在内很多操作系统的默认选项。

休眠时系统的运行数据被写入磁盘（DISK），系统也会完全切断电源（大部分情况下），唤醒时需要先从硬盘读取数据到内存，因为恢复速度比挂起慢，实测甚至要慢于开机（20s vs 10s）。

休眠的好处就是笔记本实际是关机状态，完全不耗电不发热，不用担心意外断电、进水和误触键盘唤醒系统，可以放心的携带和保存。

Linux底层有两种实现来支持挂起和休眠，一种是内核（kernel）自带的swsusp，另一种是uswsusp(‘Userspace Software Suspend’) ，后者封装了前者，并且提供了更多的功能，通常swsusp已经够用了。

swsusp的原理是向/sys/power目录中的文件写入特定的状态字符串来操作系统的状态。

最重要的是/sys/power/state、/sys/power/mem_sleep、/sys/power/disk三个文件，分别保存了当前系统支持的睡眠模式、挂起方法、休眠方法，具体信息可以参考  官方文档

Systemd工具提供了睡眠管理的高级命令systemctl suspend、systemctl hibernate、systemctl hybrid-sleep。

配置

1. 配置/swapfile，启用休眠需要比内存稍大的swap空间，推荐使用swapfile，从2.4内核开始， swapfile的性能已经不弱于swap分区，并且更容易调整大小，如果使用btrfs文件系统，需要内核升级到5.0以上才支持swapfile

# 先关闭已有的swap空间  
sudo swapoff -a  
# 分配连续的磁盘空间，fallocate比dd命令更安全快速，空间大小参考后面的表格  
sudo fallocate -l 20G /swapfile  
# 修改权限  
sudo chmod 600 /swapfile  
# 启用swapfile  
sudo mkswap /swapfile  
sudo swapon /swapfile  
# 确认结果  
sudo swapon --show

free

swap文件的大小可以参考下面的表格：

2. 文件系统启动时挂载/swapfile

echo '/swapfile swap swap defaults 0 0' | sudo tee -a /etc/fstab

3. 配置启动内核参数

# 查看swapfile的UUID  
sudo findmnt -no UUID -T /swapfile  
# 查看swap_file_offset，忽略..符号  
sudo filefrag -v /swapfile | awk '{ if($1=="0:"){print substr($4, 1, length($4)-2)} }'  
# 编辑grub文件  
sudo nano /etc/default/grub  
# 将grub文件中GRUB_CMDLINE_LINUX_DEFAULT参数修改为如下形式  
# 其中UUID和resume_offset的值更换为上面两个命令的输出  
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash resume=UUID=51f8eab4-d775-4020-aace-0e411ef5b8ed resume_offset=34816"  
# 保存退出，然后更新grub配置  
sudo update-grub  
# 编辑initramfs  
sudo nano /etc/initramfs-tools/conf.d/resume  
# 加入下面一行，UUID替换为实际值  
resume=UUID=51f8eab4-d775-4020-aace-0e411ef5b8ed  
# 保存退出，然后更新initramfs配置  
sudo update-initramfs -u  
# 重启  
reboot

重启后执行sudo systemctl hibernate测试是否可以正常休眠。

4. 配置Gnome界面 Option 1: The legacy method for For Ubuntu 22.04 and earlier, though it still works in Ubuntu 24.04.

1.) First, open terminal (Ctrl+Alt+T) and run command to create the config directory, that’s not exist by default in Ubuntu 24.04:

sudo mkdir -p /etc/polkit-1/localauthority/50-local.d

2.) Thanks to @Joerg, Ubuntu 23.10 and Ubuntu 24.04 users need to install polkitd-plka package first:

sudo apt install polkitd-pkla

3.) Then, run command to create & edit a config file (replace gedit with gnome-text-editor for 24.04):

sudo gedit /etc/polkit-1/localauthority/50-local.d/com.ubuntu.enable-hibernate.pkla

When the file opens, paste following lines and save it.

[Re-enable hibernate by default in upower]
Identity=unix-user:*
Action=org.freedesktop.upower.hibernate
ResultActive=yes

[Re-enable hibernate by default in logind]
Identity=unix-user:*
Action=org.freedesktop.login1.hibernate;org.freedesktop.login1.handle-hibernate-key;org.freedesktop.login1;org.freedesktop.login1.hibernate-multiple-sessions;org.freedesktop.login1.hibernate-ignore-inhibit
ResultActive=yes

 原网站 的这种方法是针对的Ubuntu22.04及之前的版本，新版的Ubuntu24.04参考  这个

Option 2: Thanks to   this thread , since Ubuntu 24.04, the new method to add hibernate menu option is to create config file under /etc/polkit-1/rules.d/ directory.

First, run command to create a config file:

sudo nano /etc/polkit-1/rules.d/10-enable-hibernate.rules

When file opens, paste the lines below and press Ctrl+S to save, finally press Ctrl+X to exit.

polkit.addRule(function(action, subject) {
    if (action.id == "org.freedesktop.login1.hibernate" ||
        action.id == "org.freedesktop.login1.hibernate-multiple-sessions" ||
        action.id == "org.freedesktop.upower.hibernate" ||
        action.id == "org.freedesktop.login1.handle-hibernate-key" ||
        action.id == "org.freedesktop.login1.hibernate-ignore-inhibit")
    {
        return polkit.Result.YES;
    }
});

After doing either option above, your desktop (including MATE, XFCE, KDE, but exclude GNOME) should NOW have the “Hibernate” option in shutdown menu!

For GNOME, the default desktop in Ubuntu, you need to do one more step to make the menu option visible:

For default GNOME desktop, go to the link button below and install the extension for the menu option:  Hibernate Status Button

预训练方法

文本-图像对

常规的图像分类模型往往都基于有类别标签的图像数据集进行全监督训练，这往往对于数据需求非常高，需要大量人工标注；同时限制了模型的适用性和泛化能力，不适于任务迁移。

而在我们的互联网上，可以轻松获取大批量的文本-图像配对数据。Open AI团队通过收集4亿（400 million) 个 文本-图像对((image, text) pairs)，以用来训练其提出的CLIP模型。

模型结构

CLIP的模型结构其实非常简单：包括两个部分，即文本编码器（Text Encoder）和图像编码器（Image Encoder)。Text Encoder选择的是Text Transformer模型；Image Encoder选择了两种模型，一是基于CNN的ResNet（对比了不同层数的ResNet），二是基于Transformer的  ViT 。

训练过程

CLIP在文本-图像对数据集上的训练过程如下：

1. 假设DataLoader中的一个batch包含了 $N$ 个（文本-图像）对。将这 $N$ 个文本先通过Text Encoder进行文本编码，假设Text Encoder将每条文本编码为一个长度为 $d_t$ 的一维向量，那么这个batch的文本数据经Text Encoder的输出为$[T_{1}, T_{2}, \dots , T_{N}]$ ,维度为 $(N,d_{t})$ ; 同样的，将这 $N$ 个图像先通过Image Encoder进行图像编码，假设Image Encoder将每条文本编码为一个长度为 $d_{i}$ 的一维向量，那么这个batch的图像数据经Image Encoder的输出为$[I_{1}, I_{2}, \dots , I_{N}]$,维度为 $(N,d_{i})$ 。
2. 得到的$[T_{1}, T_{2}, \dots , T_{N}]$和中$[I_{1}, I_{2}, \dots , I_{N}]$，文本-图像是一一对应的，例如 $T_{1}$ 与 $I_{1}$ 对应，$T_{2}$ 与 $I_{2}$ 对应，…，$T_{N}$与 $I_{N}$ 对应，这 $N$ 个对应关系我们记为正样本；而原本并不对应的文本-图像我们标记为负样本，例如 $T_1$ 与 $I_2$ 不对应，$T_N$ 与 $I_{N-1}$ 不对应。这么一来，我们就有个 $N$ 个正样本，$N^2-N$ 个负样本。这样正负样本就可以作为正负标签，用来训练Text Encoder和Image Encoder了。
3. 我们通过计算 $I_i$ 与 $T_j$ ( $i,j \in [1,N]$ )之间的余弦相似度（cosine similarity）, $I_{i} \cdot T_{j}$用来度量相应的文本与图像之间的对应关系。余弦相似度越大，表明$I_i$ 与$T_j$ 的对应关系越强，反之越弱。那么训练的任务便很清晰地变成了：通过训练Text Encoder和Image Encoder的参数，最大化$N$个正样本的余弦相似度，最小化 $N^2-N$个负样本的余弦相似度。按上图所示，即最大化对角线中蓝色的数值，最小化其它非对角线的数值。优化目标可以写为： $$ min(\sum\limits_{i=1}^{N} \sum\limits_{i=1}^{N} (I_{i} \cdot T_{j})_{(i \neq j)} - \sum\limits_{i=1}^{N}(I_{i} \cdot T_i)) $$ 原论文中的伪代码实现如下：

# image_encoder - ResNet or Vision Transformer
# text_encoder - CBOW or Text Transformer
# I[n, h, w, c] - minibatch of aligned images
# T[n, l] - minibatch of aligned texts
# W_i[d_i, d_e] - learned proj of image to embed
# W_t[d_t, d_e] - learned proj of text to embed
# t - learned temperature parameter

# 分别提取图像特征和文本特征
I_f = image_encoder(I) #[n, d_i]
T_f = text_encoder(T) #[n, d_t]

# 对两个特征进行线性投射，得到相同维度的特征，并进行l2归一化
I_e = l2_normalize(np.dot(I_f, W_i), axis=1)
T_e = l2_normalize(np.dot(T_f, W_t), axis=1)

# 计算缩放的余弦相似度：[n, n]
logits = np.dot(I_e, T_e.T) * np.exp(t)

# 对称的对比学习损失：等价于N个类别的cross_entropy_loss
labels = np.arange(n) # 对角线元素的labels
loss_i = cross_entropy_loss(logits, labels, axis=0)
loss_t = cross_entropy_loss(logits, labels, axis=1)
loss = (loss_i + loss_t)/2

损失函数

对比学习损失函数有多种，其中比较常用的一种是InfoNCE loss²，何恺明的论文MoCo提出，我们可以把对比学习看成是一个字典查询的任务，即训练一个编码器从而去做字典查询的任务。

假设已经有一个编码好的query $q$（一个特征），以及一系列编码好的样本$k_{0}, k_{1}, k_{2}, \dots$那么$k_{0}, k_{1}, k_{2}, \dots$可以看作是字典里的key。假设字典里只有一个key即 $k_+$ (称为 $k$ positive）是跟$q$是匹配的，那么 $q$ 和 $k_+$ 就互为正样本对，其余的key为q的负样本。一旦定义好了正负样本对，就需要一个对比学习的损失函数来指导模型来进行学习。这个损失函数需要满足这些要求，即当query 和 $q$ 唯一的正样本 $k_+$ 相似，并且和其他所有负样本key都不相似的时候，这个loss的值应该比较低。反之，如果 $q$ 和 $k_+$ 不相似，或者 $q$ 和其他负样本的key相似了，那么loss就应该大，从而惩罚模型，促使模型进行参数更新。

• 对于每个图像 $I_i$ ，目标是让 $S_{i,i}$ (匹配的文本 $T_i$ )的得分高于其他 ($S_{i,j}(j \neq i)$) (不匹配的文本)
• 对于每个文本 $T_i$ ，目标是让 $S_{i,i}$ (匹配的图像 $I_i$ )的得分高于其他 ($S_{i,j}(j \neq i)$) (不匹配的图像)

损失函数的形式为：

$$ \mathcal{L}_{image} = - \frac{1}{N}\sum\limits_{i=1}^{N} \log \frac{exp(S_{i,i}/\tau)}{\sum_{j=1}^{N} exp(S_{i,j}/\tau)} $$

$$ \mathcal{L}_{text} = - \frac{1}{N}\sum\limits_{i=1}^{N} \log \frac{exp(S_{i,i}/\tau)}{\sum_{j=1}^{N} exp(S_{j,i}/\tau)} $$

( $\tau$ ) 是一个可学习的温度参数，用于缩放相似度得分。

总损失是两个方向的平均： $$ \mathcal{L} = \frac{1}{2}(\mathcal{L}_{image} + \mathcal{L}_{text}) $$ 由于InfoNCE的形式与CrossEntropy的形式完全一致，因此对于每一行$S[i,:]$(图像$I_i$对所有文本的相似度)，我们可以将其视为一个分类问题，目标是让模型正确预测第i个文本(正样本)

零样本图像分类

经过上一章的讲解，我们了解了CLIP如何在文本-图像对数据上训练，并且训练好的模型有能力判断给定的文本和图像是否匹配。这时CLIP已经完成了其全部训练过程，完全不需要Imagenet或其它数据集中的图像-类别标签，即可以直接做图像分类了，这也是CLIP这个模型最大的亮点：zero-shot图像分类。这是如何实现的呢，其实也非常简单：

1. 根据所迁移的数据集将所有类别转换为文本。这里以Imagenet有1000类为例，我们得到了1000个文本：A photo of {label}。我们将这1000个文本全部输入 Text Encoder中，得到1000个编码后的向量 $T_{i}(i = 1,2, \dots , N)(N=1000)$,这被视作文本特征。
2. 我们将需要分类的图像（单张图像）输入Image Encoder中，得到这张图像编码后的向量 $I_1$ 。将$I_1$与得到的1000个文本特征分别计算余弦相似度。找出1000个相似度中最大的那一个（上图中对应的为 $T_3$ ），那么评定要分类的图片与第三个文本标签（dog）最匹配，即可将其分类为狗。

下图是 Transformer 用于中英文翻译的整体结构¹：

1. 获取输入句子的每一个单词的表示向量 X，X由单词的 Embedding（Embedding就是从原始数据提取出来的Feature） 和单词位置的 Embedding 相加得到。
   
2. 将得到的单词表示向量矩阵 (如上图所示，每一行是一个单词的表示 x) 传入 Encoder 中，经过 6 个 Encoder block 后可以得到句子所有单词的编码信息矩阵 C，如下图。单词向量矩阵用 $X_{n\times d}$ 表示， n 是句子中单词个数，d 是表示向量的维度 (论文中 d=512)。每一个 Encoder block 输出的矩阵维度与输入完全一致。
   
3. 将 Encoder 输出的编码信息矩阵 C传递到 Decoder 中，Decoder 依次会根据当前翻译过的单词 1~ i 翻译下一个单词 i+1，如下图所示。在使用的过程中，翻译到单词 i+1 的时候需要通过 Mask (掩盖) 操作遮盖住 i+1 之后的单词。
   
   上图 Decoder 接收了 Encoder 的编码矩阵 C，然后首先输入一个翻译开始符 “<Begin>"，预测第一个单词 “I”；然后输入翻译开始符 “<Begin>” 和单词 “I”，预测单词 “have”，以此类推。这是 Transformer 使用时候的大致流程，接下来是里面各个部分的细节。

Transformer的输入

Transformer 中单词的输入表示 x由单词 Embedding 和位置 Embedding （Positional Encoding）相加得到。

单词Embedding

单词的 Embedding 有很多种方式可以获取，例如可以采用 Word2Vec、Glove 等算法预训练得到，也可以在 Transformer 中训练得到。

位置Embedding

Transformer 中除了单词的 Embedding，还需要使用位置 Embedding 表示单词出现在句子中的位置。因为 Transformer 不采用 RNN 的结构，而是使用全局信息，不能利用单词的顺序信息，而这部分信息对于 NLP 来说非常重要。 所以 Transformer 中使用位置 Embedding 保存单词在序列中的相对或绝对位置。

位置 Embedding 用 PE 表示，PE 的维度与单词 Embedding 是一样的。PE 可以通过训练得到，也可以使用某种公式计算得到。在 Transformer 中采用了后者，计算公式如下：

• 使 PE 能够适应比训练集里面所有句子更长的句子，假设训练集里面最长的句子是有 20 个单词，突然来了一个长度为 21 的句子，则使用公式计算的方法可以计算出第 21 位的 Embedding。
• 可以让模型容易地计算出相对位置，对于固定长度的间距 k，PE(pos+k) 可以用 PE(pos) 计算得到。因为 Sin(A+B) = Sin(A)Cos(B) + Cos(A)Sin(B), Cos(A+B) = Cos(A)Cos(B) - Sin(A)Sin(B)。 将单词的词 Embedding 和位置 Embedding 相加，就可以得到单词的表示向量 x，x 就是 Transformer 的输入。

Self-Attention(自注意力机制)

因为 Self-Attention 是 Transformer 的重点，所以我们重点关注 Multi-Head Attention 以及 Self-Attention，首先详细了解一下 Self-Attention 的内部逻辑。

Self-Attention结构

Q, K, V的计算

Self-Attention 的输入用矩阵X进行表示，则可以使用线性变阵矩阵WQ,WK,WV计算得到Q,K,V。计算如下图所示，注意 X, Q, K, V 的每一行都表示一个单词。

Self-Attention的输出

得到矩阵 Q, K, V之后就可以计算出 Self-Attention 的输出了，计算的公式如下：

Multi-Head Attention

在上一步，我们已经知道怎么通过 Self-Attention 计算得到输出矩阵 Z，而 Multi-Head Attention 是由多个 Self-Attention 组合形成的，下图是论文中 Multi-Head Attention 的结构图。

Encoder结构

Add & Norm

Add & Norm 层由 Add 和 Norm 两部分组成，其计算公式如下：

Add指 X+MultiHeadAttention(X)，是一种残差连接，通常用于解决多层网络训练的问题，可以让网络只关注当前差异的部分，在 ResNet 中经常用到：

Feed Forward

Feed Forward 层比较简单，是一个两层的全连接层，第一层的激活函数为 Relu，第二层不使用激活函数，对应的公式如下。

组成Encoder

通过上面描述的 Multi-Head Attention, Feed Forward, Add & Norm 就可以构造出一个 Encoder block，Encoder block 接收输入矩阵  ，并输出一个矩阵  。通过多个 Encoder block 叠加就可以组成 Encoder。

第一个 Encoder block 的输入为句子单词的表示向量矩阵，后续 Encoder block 的输入是前一个 Encoder block 的输出，最后一个 Encoder block 输出的矩阵就是编码信息矩阵 C，这一矩阵后续会用到 Decoder 中。

Decoder结构

• 包含两个 Multi-Head Attention 层。
• 第一个 Multi-Head Attention 层采用了 Masked 操作。
• 第二个 Multi-Head Attention 层的K, V矩阵使用 Encoder 的编码信息矩阵C进行计算，而Q使用上一个 Decoder block 的输出计算。
• 最后有一个 Softmax 层计算下一个翻译单词的概率。

第一个Multi-Head Attention

Decoder block 的第一个 Multi-Head Attention 采用了 Masked 操作，因为在翻译的过程中是顺序翻译的，即翻译完第 i 个单词，才可以翻译第 i+1 个单词。通过 Masked 操作可以下面以 “我有一只猫” 翻译成 “I have a cat” 为例，了解一下 Masked 操作。

下面的描述中使用了类似 Teacher Forcing 的概念。在 Decoder 的时候，是需要根据之前的翻译，求解当前最有可能的翻译，如下图所示。首先根据输入 “<Begin>” 预测出第一个单词为 “I”，然后根据输入 “<Begin> I” 预测下一个单词 “have”。

Mask矩阵中可以用1表示有效字，0代表无效字（也可以用True/False）。

第一步： 是 Decoder 的输入矩阵和 Mask 矩阵，输入矩阵包含 “<Begin> I have a cat” (0, 1, 2, 3, 4) 五个单词的表示向量，Mask 是一个 5×5 的矩阵。在 Mask 可以发现单词 0 只能使用单词 0 的信息，而单词 1 可以使用单词 0, 1 的信息，即只能使用之前的信息。

得到 Mask $QK^T$  之后在 Mask $QK^T$ 上进行 Softmax，每一行的和都为 1。但是单词 0 在单词 1, 2, 3, 4 上的 attention score 都为 0。

第四步： 使用 Mask $QK^T$ 与矩阵 V相乘，得到输出 Z，则单词 1 的输出向量 $Z_1$ 是只包含单词 1 信息的。

第二个Multi-Head Attention

Decoder block 第二个 Multi-Head Attention 变化不大， 主要的区别在于其中 Self-Attention 的 K, V矩阵不是使用 上一个 Decoder block 的输出计算的，而是使用 Encoder 的编码信息矩阵 C 计算的。

根据 Encoder 的输出 C计算得到 K, V，根据上一个 Decoder block 的输出 Z 计算 Q (如果是第一个 Decoder block 则使用输入矩阵 X 进行计算)，后续的计算方法与之前描述的一致。

这样做的好处是在 Decoder 的时候，每一位单词都可以利用到 Encoder 所有单词的信息 (这些信息无需 Mask)。

Softmax预测输出单词

Decoder block 最后的部分是利用 Softmax 预测下一个单词，在之前的网络层我们可以得到一个最终的输出 Z，因为 Mask 的存在，使得单词 0 的输出 Z0 只包含单词 0 的信息，如下：

混淆点

Transformer使用了Teacher Forcing的方法，在模型训练的过程中是并行的，而在模型推理的过程中是串行的。

Transfomer总结

• Transformer 与 RNN 不同，可以比较好地并行训练。
• Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。
• Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
• Transformer 中 Multi-Head Attention 中有多个 Self-Attention，可以捕获单词之间多种维度上的相关系数 attention score。

create user 'username'@'host' identified by 'password';

其中username为自定义的用户名；host为登录域名，%代表任意IP，localhost代表本机，或者填写指定的IP地址；password为密码

2. 为用户授权

grant all privileges on *.* to 'username'@'host' with grant option;

其中*.*第一个*表示所有数据库，第二个*表示所有数据表，如果不想授权全部那就把对应的*写成相应数据库或者数据表；username为指定的用户；%为该用户登录的域名

3. 授权之后刷新权限

flush privileges;

4. 撤销授权

# 收回权限（不包含赋权权限）
revoke all privileges on *.* from user_name;
revoke all privileges on user_name.* from user_name;
# 收回赋权权限
revoke grant on option on *.* from user_name;
# 操作完成后重新刷新权限
flush privileges;

在5.7之前修改密码：（使用update修改user表）

use mysql;
update user set authentication_string=password('123456') where host = 'localhost' and user='root';

在5.7修改密码：（废除了password字段，需要使用authentication_string）

use mysql;
update user set password=password('123456') where host='localhost' and user ='root'

在8.0中已经不能使用password函数和set…语句，只能使用

use mysql;
alter user 'root'@'localhost' identified with mysql_native_password by '123456';
## 如果遇报错，先执行flush privileges

原因

mysql5.7.9版本之后废弃了password字段和password()函数，且默认加密方式不采用mysql_native_password.

在mysql8.0以上版本中caching_sha2_password和sha256_password认证插件比mysql_native_password插件提供的密码加密更安全，并且前者加密性能更好。由于caching_sha2_password这样优秀的安全和性能特征，让他作为mysql8.0的默认首选认证插件，而并不是mysql_native_password.

所以mysql8.0默认是caching_sha2_password加密,5.7.9版本后的默认是mysql_native_password.