UniFormer

基本信息

字段	内容
标题	UniFormer: Efficient and Unified Model-Centric Scaling for Industrial Recommendation
作者	Bo Chen, Jinlong Jiao, Tijian Hu, Ruihao Zhang, Yanzhi Liu, Chenghou Jin, Qinglin Jia, Baixuan He, Hechang Pan, Yiwu Liu, Jian Liang, Chaoyi Ma, Ruiming Tang, Han Li, Kun Gai
机构	快手 Kuaishou
年份	2026 (arXiv 2606.27058, cs.IR)
方向	多任务、Scaling Law、在线推理效率
场景	快手单列短视频推荐精排，4 亿+ DAU，日均 500 亿+ 交互
arXiv	https://arxiv.org/abs/2606.27058

TL;DR：UniFormer 主张工业推荐的扩展应从组件式扩展转向模型式统一扩展。传统的序列建模/特征交互是和多任务建模分开的，UniFormer将多任务建模过程和序列建模耦合，把模型建模空间拆成特征空间与任务空间，分别用特征空间交互模块 FIM 与任务空间交互模块 TIM 处理，二者堆叠成统一骨干，联合扩展序列特征、非序列特征与任务信号，期望 Scaling Up 能够对完整的模型整体做 Scalling。FIM 用长/短序列交叉注意力避免偏好坍缩，Per-Token FFN 提供可控的参数扩展位；推理侧用语义 tokenization 做 user-item 解耦、变长 FlashAttention 消除 padding 浪费。在快手主站与极速版双场景取得观看时长 +0.729% / +1.113% 的线上收益。

https://arxiv.org/abs/2606.27058

一、动机：从组件式扩展到模型式扩展

工业精排模型近年沿着"把某个组件做大"的路线扩展：把行为序列建模模块加长、把特征交互模块换成更大的 MoE、把某一子网络的隐层维度调高。作者把这类做法称为组件式扩展 component-centric scaling，其典型结构可以写成：

\mathbf{y} = \mathcal{F}_{\text{task}}\Big(\mathcal{F}_{\text{interaction}}\big(\mathcal{F}_{\text{behavior}}(\mathbf{e}_{\text{seq}}),\ \mathbf{e}_{\text{non-seq}}\big),\ \mathbf{e}_{\text{task}}\Big)

其中：

$\mathbf{e}_{\text{seq}}$ 为序列特征嵌入，即用户历史行为序列；
$\mathbf{e}_{\text{non-seq}}$ 为非序列特征嵌入，即用户画像、上下文、物品侧等定长特征；
$\mathbf{e}_{\text{task}}$ 为任务侧嵌入；
$\mathcal{F}_{\text{behavior}}$ 为行为序列建模模块， $\mathcal{F}_{\text{interaction}}$ 为特征交互模块， $\mathcal{F}_{\text{task}}$ 为任务塔；
$\mathbf{y}$ 为各任务的预测输出。

作者指出组件式扩展有两个问题。其一，模型结构是不同功能拆开独立的，单独把某一个组件做大，收益很快进入边际递减，因为瓶颈会转移到未被扩展的其它组件上。其二，各组件相互隔离，序列信息、非序列特征、任务信号之间缺乏充分的跨空间交互，扩展的参数没有落在能产生联合增益的地方。

UniFormer 提出的替代是模型式扩展 model-centric scaling：不再分别扩展各组件，而是把三类输入交给一个统一骨干联合建模并整体扩展：

\mathbf{y} = \mathcal{F}_{\text{co-scaling}}(\mathbf{e}_{\text{seq}},\ \mathbf{e}_{\text{non-seq}},\ \mathbf{e}_{\text{task}})

其中 $\mathcal{F}_{\text{co-scaling}}$ 是一个对三类输入做协同扩展 co-scaling 的统一函数。为组织这个统一骨干，作者把建模空间显式拆成两个正交的子空间：

特征空间 feature space：容纳序列特征与非序列特征，负责特征之间的交互；
任务空间 task space：容纳任务信号，负责任务与高阶特征之间的交互。

两个空间分别由特征空间交互模块 FIM 与任务空间交互模块 TIM 承担，堆叠若干层构成骨干。创新点可以概括为三条：

提出模型式扩展的范式与特征空间、任务空间的划分，用 FIM 与 TIM 统一建模并协同扩展；
FIM 内用多序列交叉注意力避免偏好坍缩，多视图 FFN 提供灵活的参数扩展位，使模型呈现清晰的 Scaling Law；
面向在线约束设计语义 tokenization 的 user-item 解耦与变长 FlashAttention，在扩大模型的同时控制推理成本，并在快手双场景验证线上收益。

二、整体架构

UniFormer 由两部分组成：

Tokenization 块：把原始特征编码成紧凑的 token 表示。序列特征按序列数、序列长度、模型维度组织成 token；非序列特征各自成 token。物品相关的长期行为通过基于目标物品的检索式聚合得到，形式上是一次 target attention：

\mathbf{e}_{\text{search}} = \mathrm{TA}(\mathbf{e}_{\text{target}},\ \mathbf{K}_{\text{search}},\ \mathbf{V}_{\text{search}})

其中 $\mathbf{e}_{\text{target}}$ 为目标物品嵌入作为 query， $\mathbf{K}_{\text{search}}$ 、 $\mathbf{V}_{\text{search}}$ 由长期行为序列投影得到， $\mathrm{TA}$ 为 target attention。这与 SIM 的思路一致，按目标物品从长序列里检索相关行为。

统一交互块：由 FIM 与 TIM 交替堆叠，默认 3 层，隐藏维度 1280。

模型使用三路异构行为序列作为输入：短期交互序列、物品相关的长期行为、以及经压缩的终身兴趣表示。三者长度与语义都不同，如何在不让某一路序列主导的前提下融合，是 FIM 的核心问题。

三、特征空间交互模块 FIM

FIM 分两个朝向：面向序列特征的交叉注意力，面向非序列特征的自注意力，二者输出再各自过多视图 FFN。

3.1 多序列交叉注意力与偏好坍缩

对每一路行为序列，用一组可学习的交叉查询 token 去做交叉注意力，把该序列的信息读进查询表示。以短期序列为例：

\mathbf{H}^{\text{feat},(l)}_{\text{short}} = \mathrm{CA}\big(\mathrm{RMSNorm}(\mathbf{Q}^{\text{feat},(l-1)}_{\text{cross}}),\ \mathbf{K}^{(l)}_{\text{short}},\ \mathbf{V}^{(l)}_{\text{short}}\big) + \mathbf{Q}^{\text{feat},(l-1)}_{\text{cross}}

其中：

$l$ 为层号；
$\mathbf{Q}^{\text{feat},(l-1)}_{\text{cross}}$ 为上一层输出的可学习交叉查询 token，作为 query；
$\mathbf{K}^{(l)}_{\text{short}}$ 、 $\mathbf{V}^{(l)}_{\text{short}}$ 由短期行为序列线性投影得到的 key、value；
$\mathrm{CA}$ 为交叉注意力， $\mathrm{RMSNorm}$ 为归一化，末项为残差连接。

紧接一层带残差的前馈：

\tilde{\mathbf{H}}^{\text{feat},(l)}_{\text{short}} = \mathrm{FFN}^{\text{feat},(l)}_{\text{short}}(\mathbf{H}^{\text{feat},(l)}_{\text{short}}) + \mathbf{H}^{\text{feat},(l)}_{\text{short}}

关键在于每一路序列各有一套独立的交叉注意力，这就是多序列交叉注意力 multi-sequence cross-attention。若把多路序列直接拼成一条长序列送入单一注意力，模型容易偏好坍缩 preference collapse，即最终表示被单条主导序列支配，弱化其它序列携带的兴趣。分路处理再融合，能保留来自异构行为序列的多视角兴趣。

各路输出按融合系数聚合，以短期与长期两路为例：

\mathbf{H}^{\text{feat},(l)}_{\text{cross}} = \alpha \cdot \tilde{\mathbf{H}}^{\text{feat},(l)}_{\text{short}} + (1-\alpha) \cdot \tilde{\mathbf{H}}^{\text{feat},(l)}_{\text{long}}

其中 $\alpha$ 为融合系数。论文给出两种取法：全局自适应融合用一个全局可学习的 $\alpha$ ；个性化融合按用户活跃度生成用户相关的 $\alpha_i$ ，让活跃用户与低活用户在长短期兴趣上有不同权重。该式可推广到三路序列的加权融合。

3.2 非序列特征的自注意力与交互增强

融合后的序列表示与非序列特征拼接，做自注意力以建模特征间的高阶交互。拼接这一步称为交互增强 interaction enhancement：

\mathbf{X}^{\text{feat},(l)} = \big[\mathbf{H}^{\text{feat},(l)}_{\text{cross}}\ \|\ \mathbf{Q}^{\text{feat},(l-1)}_{\text{self}}\big]

\mathbf{H}^{\text{feat},(l)}_{\text{self}} = \mathrm{SA}\big(\mathrm{RMSNorm}(\mathbf{X}^{\text{feat},(l)})\big) + \mathbf{X}^{\text{feat},(l)}

其中 $\|$ 为拼接， $\mathbf{Q}^{\text{feat},(l-1)}_{\text{self}}$ 为承载非序列特征的自注意力 token， $\mathrm{SA}$ 为自注意力。交互增强把序列侧读出的兴趣拼进非序列特征一起做自注意力，使序列信息参与到特征交互中，而非在序列建模后就被隔离。

3.3 多视图 FFN

自注意力输出按 token 分片后，每个分片过各自独立的前馈网络：

\mathbf{f}^{\text{feat},(l)}_i = \mathrm{FFN}^{\text{feat},(l)}_i(\mathbf{h}^{\text{feat},(l)}_i) + \mathbf{h}^{\text{feat},(l)}_i

其中 $i$ 为 token 分片序号， $\mathbf{h}^{\text{feat},(l)}_i$ 为第 $i$ 个分片的表示。序列侧与非序列侧分别有各自的 FFN 组，记为 S-FFNs 与 NS-FFNs，内部为 SwiGLU。

这组按分片、按朝向拆开的前馈就是多视图 FFN multi-view FFN。它是 UniFormer 的主要扩展位：把不同类型输入交给不同的 FFN，扩展时按需增大各组 FFN 的隐藏维度，从而在序列特征、非序列特征、任务信号之间做均衡的容量分配，避免参数过度集中在单一组件。这正是模型式扩展在实现上的落点。

四、任务空间交互模块 TIM

TIM 让任务侧的 token 与 FIM 输出的特征表示交互，再在任务之间做建模。面向特征的交互是任务感知的交叉注意力：

\mathbf{H}^{\text{task},(l)}_{\text{cross}} = \mathrm{CA}\big(\mathrm{RMSNorm}(\mathbf{Q}^{\text{task},(l-1)}_{\text{cross}}),\ \mathbf{K}^{(l)}_{\text{feat}},\ \mathbf{V}^{(l)}_{\text{feat}}\big) + \mathbf{Q}^{\text{task},(l-1)}_{\text{cross}}

其中 $\mathbf{Q}^{\text{task},(l-1)}_{\text{cross}}$ 为任务查询 token， $\mathbf{K}^{(l)}_{\text{feat}}$ 、 $\mathbf{V}^{(l)}_{\text{feat}}$ 由 FIM 输出的特征表示投影得到。每个任务的查询 token 从共享的特征表示里抽取与自身相关的信息。

面向任务的交互在任务 token 之间做自注意力，再各自过任务专属的前馈：

\mathbf{f}^{\text{task},(l)}_i = \mathrm{FFN}^{\text{task},(l)}_i(\mathbf{h}^{\text{task},(l)}_i) + \mathbf{h}^{\text{task},(l)}_i

其中 $i$ 为任务序号，这组任务专属前馈记为 T-FFNs。它与 S-FFNs、NS-FFNs 共同构成多视图 FFN 的三类视图。

模型同时预测四个任务：Effective-view 有效播放、Long-view 长播放、Like 点赞、Follow 关注。总损失为各任务加权和：

\mathcal{L} = \sum_{i=1}^{t} \lambda_i\, \mathcal{L}_i(y_i, \hat{y}_i)

其中 $t$ 为任务数，此处为 4； $\lambda_i$ 为第 $i$ 个任务的权重； $\mathcal{L}_i$ 为该任务的损失； $y_i$ 、 $\hat{y}_i$ 为标签与预测。

五、模型式扩展与 Scaling Law

UniFormer 的扩展方式是增大多视图 FFN 各组 S-FFNs、NS-FFNs、T-FFNs 的隐藏维度，而非加深或改动某个单独组件。作者报告随参数量增加，GAUC 呈对数增长的 Scaling Law，且相比组件式扩展方法有更强的增长曲线，更晚触及边际递减。扩展曲线以对数参数坐标给出，覆盖约 115.8M 的基线到约 995.3M 的 UniFormer-Large，各数据点的精确 GAUC 为图示、未以表格列出。默认 3 层、隐藏维度 1280 的配置对应约 516M 参数，扩展版 UniFormer-Large 约 995M 参数，后者在全部四个任务上进一步领先，说明该骨干在近十亿参数量级仍能持续获益。

六、在线推理效率

把精排模型做到数亿参数，线上推理成本是硬约束。UniFormer 用两项设计控制成本。

6.1 语义 tokenization 与 user-item 解耦

一次请求要对同一用户下的数百个候选物品打分。若把用户侧计算与每个候选耦合，用户侧表示会被重复计算数百次。UniFormer 把非序列特征分解为 $m$ 个物品无关 token 与 $n$ 个物品相关 token，通过注意力掩码切断用户侧 query 到物品侧 key 的交互，使物品无关 token 每次请求只计算一次，并在该请求的约 512 个候选之间复用。作者报告这一请求级复用带来约 48% 的推理 QPS 提升，且 GAUC 几乎无损。

6.2 变长 FlashAttention

异构行为序列长度不一，按最长序列 padding 会浪费大量算力在填充位上。UniFormer 用变长 FlashAttention，不显式构造完整注意力矩阵，把复杂度从

\mathcal{O}\big(B \cdot q \cdot L_{\max} \cdot d\big) \quad \Rightarrow \quad \mathcal{O}\Big(q \cdot \sum_{i} L_i \cdot d\Big)

其中 $B$ 为 batch 大小， $q$ 为 query 数， $L_{\max}$ 为 padding 后的最大序列长， $L_i$ 为第 $i$ 个样本的真实序列长， $d$ 为维度。复杂度从依赖 $B \cdot L_{\max}$ 变为依赖真实长度之和 $\sum_i L_i$ ，消除了 padding 浪费。

七、实验

7.1 实验设置

数据与场景：快手单列短视频推荐精排，4 亿+ DAU，日均 500 亿+ 交互日志。
评估指标：GAUC，即按样本权重聚合的分用户 AUC。它先在每个用户内部算 AUC，再按曝光量加权平均，能抵消用户间基线差异，是工业精排的常用离线指标；此类指标千分位级的提升即具规模意义。
训练配置：优化器 AdamW，学习率 $10^{-3}$ ，权重衰减 $10^{-3}$ ，每 GPU batch size 2048；默认 3 层、隐藏维度 1280。
对比方法：分两族。组件式扩展族包括 SIM+DCN 经典精排基线、SIM+HoME 层级多门 MoE、SIM+RankMixer 把特征交互模块换成更大的 RankMixer；协同扩展族包括 HyFormer 跨模块协同扩展、MixFormer 稠密特征与序列协同扩展。所有方法都以 SIM 检索长期行为作为序列输入。

7.2 离线主结果

主结果如下，Impr. 为相对 SIM+DCN 基线的相对提升，最优加粗：

模型	Effective-view	Long-view	Like	Follow	参数量
SIM+DCN	0.7418	0.7734	0.8486	0.8361	115.8M
SIM+HoME	0.7424	0.7740	0.8494	0.8374	114.8M
SIM+RankMixer	0.7443	0.7757	0.8507	0.8374	492.0M
HyFormer	0.7447	0.7762	0.8512	0.8381	496.5M
MixFormer	0.7450	0.7764	0.8514	0.8388	489.4M
UniFormer	0.7457	0.7771	0.8531	0.8435	516.0M
UniFormer-Large	0.7465	0.7779	0.8538	0.8448	995.3M

从这张表可以读出四点：

协同扩展族整体优于组件式扩展族。 在相近的约 490–500M 参数量下，HyFormer、MixFormer 四项 GAUC 均优于 SIM+RankMixer，说明把序列、特征、任务纳入统一扩展比只把某个交互模块做大更有效。
相近参数量下 UniFormer 仍再进一步。 516M 的 UniFormer 四项都超过 489–496M 的 MixFormer、HyFormer、RankMixer，参数量同级而结构不同，差距来自特征空间与任务空间的显式划分，而非单纯堆参数。
稀疏交互任务受益最大。 Follow 是四任务中最稀疏的信号，UniFormer 相对 SIM+DCN 提升 +0.89%、UniFormer-Large 提升 +1.04%，为四项中最大；Effective-view 对应为 +0.53% 与 +0.63%。这与联合建模对弱信号任务帮助更大的判断一致。
组件式 MoE 单独增益有限。 SIM+HoME 相对 SIM+DCN 仅 +0.08% 至 +0.16%，参数量甚至略低于基线，说明只在某个组件上加 MoE 难以带来结构性提升，印证了组件式扩展的边际递减。

参数量从 516M 放大到 995M 后四项仍进一步提升，与第五节的 Scaling Law 相互印证。

7.3 消融实验

需要先说明消融的设计：多数消融并非简单删掉模块，而是把多视图、多序列的独立设计退化为共享变体，以此隔离分路、分视图这一设计本身的贡献。

变体	改动	影响
w/o Multi-seq CA	多路独立交叉注意力改为单一共享交叉注意力	明显下降，交互类任务如点赞尤甚
w/o IE	去掉序列表示与非序列特征的拼接增强	特征交互被削弱，下降
w/o TIM	去掉任务空间交互模块	任务专属建模消失，多任务表现下降
w/o S-FFNs	序列侧多视图 FFN 改为共享 FFN	下降最显著
w/o NS-FFNs	非序列侧多视图 FFN 改为共享 FFN	下降最显著

需注意，各变体的精确 GAUC 差值在原文以 Figure 3 的柱状图给出，未列成数值表格；上表影响一列取自图示与正文对下降幅度的定性描述与排序，具体数值原文未提供。可从中读出两条：

多视图 FFN 是模型容量的主要来源。 把 S-FFNs 或 NS-FFNs 换成共享 FFN 时下降最显著，说明按输入类型分配独立前馈的容量分配方式，是模型式扩展收益的主要载体，也解释了为什么扩展时优先增大这些 FFN 的隐藏维度最有效。
多序列交叉注意力用于防止偏好坍缩。 改为共享交叉注意力后，交互类任务下降更多，说明分路读取异构行为序列对保留多视角兴趣是必要的，与第三节偏好坍缩的动机相互印证。

此外，关于长短期兴趣融合系数 $\alpha$ 的两种取法，全局自适应与按用户活跃度个性化，论文作为设计选项给出，未报告二者的独立数值对比。

7.4 可视化分析

论文用两组注意力可视化解释模型行为，分别对应语义 tokenization 与任务空间交互模块。

语义 tokenization 与注意力多样性。 Figure 5 对比语义 tokenization 与全局 tokenization 在 FIM 各交叉注意力层的注意力分布。语义 token 在不同层呈现更分化、更有结构的注意力，各层分别关注不同的行为模式，从而抽取多视角的用户偏好；全局 tokenization 的注意力在各层反复集中于相近位置，多样性不足。作者把后者称为注意力同质化 attention homogenization，并指出语义 tokenization 能实现更专一、逐层自适应的信息抽取，缓解这一问题。这也说明语义 tokenization 不只服务于第六节 user-item 解耦的推理提速，对建模本身同样有益。

任务与特征的关系。 Figure 6 可视化 TIM 中各任务对特征 token 的注意力分布，可读出三点：

不同任务按各自的优化目标，自适应地关注不同的特征来源；
一部分特征在所有任务上都获得较高注意力，例如物品基础特征与基于检索的行为特征；
时长类任务与交互类任务的关注点不同：物品统计特征即 Token 11–14 在时长类任务上权重更高，部分用户特征即 Token 1–4 更受交互类任务重视；相关性强的任务其注意力分布也高度一致，例如与评论相关的指标。

这组可视化从注意力层面印证了任务空间交互模块的作用：任务查询 token 确实学到了任务相关的特征选择，而非对所有特征给出相同权重。

7.5 推理效率

user-item 解耦：每次请求为约 512 个候选打分。把非序列特征拆成物品无关与物品相关两组、用注意力掩码切断用户侧到物品侧的交互后，物品无关部分每请求只计算一次并跨候选复用，推理 QPS 提升约 48%，且 GAUC 几乎无损。
变长 FlashAttention：论文只给出复杂度层面的收益，即从依赖 padding 长度的 $\mathcal{O}(B q L_{\max} d)$ 降到依赖真实长度之和的 $\mathcal{O}(q \sum_i L_i d)$ ，并配合 IO 感知的分块避免显式构造完整注意力矩阵；未报告具体的加速比或显存数值。

7.6 在线 A/B

在快手主站与快手极速版双场景、约 5% 线上流量、连续 7 天做实验，主要指标提升如下：

指标	快手极速版	快手主站
App 使用时长	+0.260%	+0.101%
观看时长	+1.113%	+0.729%
点赞	+1.089%	+0.155%
评论	+1.818%	+1.488%

除上述指标外，论文还观测了收藏、转发等互动指标。可读出两点：

双场景一致为正。 观看时长与多个互动指标在两个场景同时提升，说明收益不依赖单一流量分布；工业精排中千分位级的时长增益已具规模意义。
极速版相对增益普遍更大。 例如观看时长 +1.113% 对 +0.729%、点赞 +1.089% 对 +0.155%，原文未进一步分析成因。

八、讨论：与相关工作的关系

与组件式扩展的关系。 RankMixer 等把精排的特征交互模块换成更大的结构做扩展，属组件式扩展；UniFormer 的判断是单组件扩展边际递减快，应把序列、非序列、任务三者纳入统一骨干协同扩展。离线对比中 SIM+RankMixer 被列为组件式扩展的代表。

与其它协同扩展工作的关系。 HyFormer、MixFormer 是更早的协同扩展尝试，分别做跨模块协同扩展、稠密特征与序列的协同扩展；UniFormer 的差异在于显式区分特征空间与任务空间并各配一类交互模块，同时把在线解耦与变长注意力纳入设计，使扩展在工业约束下可落地。

与生成式推荐的关系。 OneRec 走的是端到端生成式检索加排序的路线，用自回归解码统一召回与排序；UniFormer 仍是判别式的多任务精排骨干，重点在精排环节的模型式扩展与推理效率，二者是不同范式。与同为快手的 MPFormer 相比，MPFormer 面向多任务召回，UniFormer 面向精排骨干的扩展，环节与目标不同。

统一视角的价值。 UniFormer 把"扩展什么"从选择某个组件，转化为在一个骨干内按特征空间、任务空间分配容量，并用多视图 FFN 作为统一的扩展手段。这使扩展有了清晰的着力点，也解释了它比组件式扩展更晚触及边际递减。

九、总结

UniFormer 的核心贡献不是提出新的注意力算子，而是把工业精排的扩展范式从组件式改为模型式：用特征空间与任务空间的划分、FIM 与 TIM 两类交互模块、以及多视图 FFN 这一统一扩展位，构成一个可协同扩展并呈现清晰 Scaling Law 的精排骨干；同时用语义 tokenization 的 user-item 解耦与变长 FlashAttention 把扩大模型的推理成本压在工业可接受的范围内。在快手双场景取得一致的线上收益。

论文	时间	链接	一句话核心
UniFormer	2026	https://arxiv.org/abs/2606.27058	本文，模型式扩展的统一精排骨干
KuaiFormer	2024	https://arxiv.org/abs/2411.10057	快手基于 Transformer 的召回，Next Action Prediction
OneRec	2025	https://arxiv.org/abs/2502.18965	快手端到端生成式推荐，统一召回与排序
MPFormer	2025	https://arxiv.org/abs/2508.20400	快手多任务个性化序列召回
SIM	2020	https://arxiv.org/abs/2006.05639	基于目标物品检索长期行为，UniFormer 长期序列输入的基础