终结“左右互搏”：Spotify发布统一推荐框架，让搜索和推荐不再是两张皮

【摘要】一项来自Spotify的突破性研究，通过创新的“语义身份证”和多任务学习框架，成功统一了长期分离的搜索与推荐系统，为解决冷启动难题和提升用户个性化体验提供了全新的标准范式。

引言

在我们每天使用的音乐应用里，搜索和推荐就像是两个各司其职的厨师。一个厨师专门处理你主动提出的需求，比如“我想听周杰伦的歌”，精准而高效。另一个厨师则像一位创意主厨，根据你的口味历史，为你准备“猜你喜欢”的惊喜菜品。

这种分工合作的模式运行了很长时间。但问题在于，这两个厨师使用着完全不同的菜谱和工具。这不仅增加了整个后厨的复杂性，还可能错过很多美妙的搭配机会。用户刚刚搜索完一首冷门乐队的歌曲，这个强烈的即时兴趣信号，却很难被那位创意主厨及时捕捉并融入后续的推荐中。

现在，基于大型语言模型的生成式AI技术，为统一这两个功能提供了可能。这就像是找到了一位既能按需制作又能创意搭配的全能厨师。然而，要让这位全能厨师正常工作，首先需要解决一个关键问题，如何为平台上海量的每首歌曲、每部电影、每个商品创建一个既适合搜索又适合推荐的通用“身份证”。

这项令人瞩目的研究，正是由来自Spotify遍布全球的科学家团队共同完成。团队成员包括荷兰代尔夫特的Gustavo Penha、西班牙马德里的Edoardo D'Amico、丹麦哥本哈根的Marco De Nadai等十一位研究者。该研究成果将发表于2025年9月在捷克布拉格举行的第十九届ACM推荐系统会议（RecSys '25）。

这篇文章将深入剖析这项研究，从问题的根源、创新的概念，到多样化的技术策略和精妙的实验设计，最终探讨其对整个行业的深远影响。

一、背景与挑战：分裂的“两个厨房”

在Spotify这类内容服务平台中，搜索和推荐系统长期以来都是独立运作的。这种分离并非偶然，而是源于两者在目标、技术和数据依赖上的根本差异。

搜索系统的核心目标是相关性。它需要精确理解用户的查询意图，并从海量内容库中找出最匹配的结果。这就像一个信息检索任务，技术上更侧重于自然语言处理和内容语义分析。

推荐系统的核心目标则是发现性。它旨在挖掘用户的潜在兴趣，推送那些用户自己可能都不知道但会喜欢的内容。这更像一个预测任务，技术上严重依赖协同过滤，通过分析海量用户的历史行为数据来发现模式。

这种分离带来了显而易见的弊病。

首先是技术架构的冗余与复杂性。两个系统需要各自独立的特征工程、模型训练、服务部署和维护流程。这不仅推高了研发和运营成本，也使得系统迭代变得缓慢和笨重。

其次是用户体验的割裂。用户的行为和意图是连续的。一个用户在搜索框里输入“适合冥想的纯音乐”，这不仅是一个即时需求，更是一个强烈的偏好信号。但在分裂的系统中，这个信号很难被推荐系统实时、有效地利用。用户的即-时意图与长期偏好之间形成了一道鸿沟。

最关键的挑战在于物品的身份表示。传统系统通常给每个物品分配一个简单的数字编号，比如用“10086”代表一首歌。这种做法有几个致命缺陷。

• 缺乏语义信息。这些ID本身不包含任何关于物品内容的含义。系统无法从“10086”和“10087”这两个编号中，判断出这两首歌是风格相似还是天差地别。

• 严重的冷启动问题。当一首新歌加入时，它获得了一个全新的ID。由于没有任何用户与之交互过，协同过滤模型完全无法处理它。这首新歌就成了一座“信息孤岛”，需要漫长的时间积累用户行为数据，才能被推荐系统“看见”。

• 高昂的更新成本。每当有新物品加入，整个基于ID的嵌入矩阵可能都需要调整甚至重新训练，这在拥有数亿物品的平台上几乎是不可行的。

正是这些根深蒂固的难题，促使研究者们去寻找一种全新的、能够统一表达物品身份的方式。

二、破局之道：“语义身份证”的诞生

为了打破僵局，Spotify的科学家们提出了一个极具创新性的方案，“语义身份证”（Semantic ID）。

这个概念的核心思想是，不再使用无意义的数字编号，而是用一组源自物品内容特征、有实际意义的代码来标识每一个物品。

打个比方，一首抒情民谣的传统编号可能是“10086”。而它的语义身份证，则可能是由“温柔-吉他-治愈-夜晚”这样一串代码组成的。这些代码并非人工打上的标签，而是通过深度学习模型，从歌曲的音频、歌词、用户评论等多种信息中自动学习和提取出来的。

这种做法带来了革命性的改变。

首先，它从根本上解决了冷启动问题。当一首新的抒情民谣加入平台时，即使没有任何用户听过它，模型也能通过分析其内容特征，赋予它一个包含“温柔”、“吉他”等代码的语义身份证。因为这个身份证与平台上其他已存在的抒情民谣共享了部分代码，系统就能立即理解它的特性，并将其推荐给可能喜欢这类音乐的用户。新内容不再是孤岛，而是瞬间融入了整个内容生态网络。

其次，它让机器能够真正理解物品间的关系。通过比较两首歌的语义身份证，系统可以判断它们的相似度。如果两首歌共享了“摇滚-电吉他-激昂”等代码，系统就知道它们风格相近。这种基于内容的理解能力，是传统ID系统完全不具备的。

然而，构建这种语义身份证的过程，很快就遇到了一个根本性的矛盾。研究团队发现，针对搜索任务优化的身份证，在推荐任务中表现糟糕，反之亦然。

这就像一把专门为切蔬菜而设计的精巧薄刃刀，可能完全不适合用来砍骨头。Spotify团队通过系统性的实验量化了这个问题。当他们使用专门为搜索优化的身份证时，搜索效果（以召回率为指标）提升了整整五倍，但推荐效果却惨烈地下降了60%。而当他们换用推荐优化的身份证时，情况正好相反。

这个发现揭示了搜索与推荐任务本质上的冲突。

• 搜索强调显式的内容匹配。用户搜“浪漫喜剧”，系统就必须找到内容上真正属于这个类别的电影。

• 推荐依赖隐式的行为关联。系统需要发现“喜欢A电影的用户通常也会喜欢B电影”这样的规律，哪怕A和B在内容上看起来毫无关联，比如一部是科幻片，一部是纪录片。

如何创造出一套既能切菜又能砍骨头的“全能刀具”，成了这项研究需要攻克的核心技术难题。

三、殊途同归：构建“语义身份证”的探索之路

面对这个两难困境，研究团队没有选择妥协，而是系统性地设计并评估了多种不同的策略来构建语义身份证。这些策略大致可以分为两大类，任务专用方法和跨任务融合方法。

3.1 任务专用：各自为战的“专科医生”

最直接的思路，就是为每个任务训练一个专门的模型，就像请来两位“专科医生”。

3.1.1 搜索专用方法

这个方法会训练一个专门的模型，让它学习如何理解用户查询意图和歌曲内容之间的匹配关系。这个过程类似于训练一位音乐专家，让他能够准确理解当用户说“我想听轻松的音乐”时，应该推荐什么样的歌曲。

在训练时，研究者会给模型提供海量的“查询-歌曲”配对样本，让模型学会将语义相似的查询和歌曲，在向量空间中放置得更近。这种方法生成的身份证，高度聚焦于内容语义的对齐。

3.1.2 推荐专用方法

这个方法则采用了完全不同的训练思路。它主要使用协同过滤技术，专注于学习用户的行为模式。模型不关心歌曲本身的内容，只关心“哪些用户听了哪些歌”。

如果两个用户经常听相似的歌曲，模型就会认为他们的口味相近，从而为一个用户推荐另一个用户喜欢、但自己还没听过的歌曲。这种方法更像是观察人群的消费习惯，通过发现“买了A商品的人通常也会买B商品”这样的规律来工作。它生成的身份证，编码的是用户行为中的隐含关联。

这两种任务专用方法虽然在各自的领域表现优异，但它们的局限性也同样明显。它们只针对单一任务进行了优化，在需要同时处理搜索和推荐的统一系统中，必然会导致“水土不服”。

3.2 跨任务融合：寻求平衡的“全科医生”

为了打破专用方法的局限，研究团队探索了多种能够平衡两种任务需求的跨任务方法。这些方法的思路更加复杂，也更加有趣。

3.2.1 分离式策略

这种方法最为简单粗暴。它为每个物品同时创建两套不同的身份证，一套专用于搜索，一套专用于推荐。在实际使用时，系统根据当前是搜索任务还是推荐任务，调用对应的身份证。

这种方法的优点是保持了各自的优化效果，但缺点也显而易见。身份证的数量直接翻倍，大大增加了系统的复杂性和存储成本。在需要快速响应的在线服务中，这是一个不小的负担。

3.2.2 前缀共享策略

这种方法试图在保持任务特异性的同时，减少信息的冗余。它将身份证设计成一个分段结构，比如一个所有任务共享的基础部分，加上两个任务专用的扩展部分。

这就像给每首歌设计一个基础标签（比如“流行音乐”），然后根据不同用途添加特定的后缀。搜索时加上“节奏明快”，推荐时加上“适合运动”。但实验结果表明，这种方法的表现最令人失望，搜索和推荐的效果都很低。深入分析发现，这主要是由于其性能高度依赖底层的量化方法，而简单的共享结构可能不足以捕捉复杂的跨任务关联。

3.2.3 融合式策略

融合式策略试图将两种专用的embedding合并成一个更长的、更全面的综合表示。

一种直接的方法是拼接（Concatenation）。它将搜索专用的embedding和推荐专用的embedding直接连接起来。这就像将两位专家的意见报告合并成一份更全面的报告。但实验发现，这种方法在搜索方面表现不错，推荐效果却较差。研究团队分析认为，这是因为他们实验中使用的搜索专用embedding维度（386维）远大于推荐专用的embedding维度（256维），导致搜索信息在融合后占据了主导地位。

为了验证这个假设，研究团队尝试了另一种维度平衡的融合方法。他们使用一种名为奇异值分解（SVD）的数学方法，先将两种embedding调整到相同的维度，然后再进行元素级的加法融合。结果显示，推荐效果确实有所提升，但搜索效果又有所下降。这表明，简单的数学融合虽然能够平衡不同信息源的贡献，但可能会在降维或变换的过程中丢失一些对特定任务至关重要的信息。

3.2.4 多任务学习策略

在所有探索中，多任务学习（Multi-Task Learning）方法被证明是最具创新性和效果最好的。

它从根本上改变了训练思路。不再是先分别训练好专用的模型再想办法融合，而是从一开始就训练一个能够同时处理两种任务的统一模型。

在训练过程中，这个统一模型需要同时学习两个目标。

• 目标一（搜索任务），最小化“查询-物品”匹配的损失。这驱使模型去理解内容层面的语义相似性。

• 目标二（推荐任务），最小化协同过滤的损失。这驱使模型去学习用户行为中的隐含模式。

通过一个精心设计的损失函数来平衡这两个目标，模型被“逼迫”去学习一种更加通用和泛化的物品表示。最终生成的语义身份证，既能反映物品的内容特征，又能捕捉用户行为中的隐含偏好。它不再是“专科医生”，而是一位知识渊博、经验丰富的“全科医生”。

四、严谨求证：实验设计与关键发现

为了全面、公平地评估上述不同的身份证构建策略，研究团队精心设计了一套实验框架。

4.1 精心设计的实验环境

实验的基石是数据集和技术栈的选择。

• 数据集。团队选择了经典的MovieLens25M数据集，这是一个公开的大型数据集，包含约6.2万部电影和124万次用户交互记录。

• 查询数据生成。一个非常巧妙的设计是，研究团队没有使用现成的、可能存在偏差的搜索日志数据。他们使用Google的Gemini-2.0-flash模型，为数据集中的每一部电影生成了20个高质量的自然语言查询（10个用于训练，10个用于测试）。

  • 这种做法有其深层考虑。在真实世界中，热门电影的搜索查询量远高于冷门电影。如果直接使用这些数据，实验结果会受到流行度偏差的严重干扰。通过为每部电影生成相同数量的查询，研究团队创造了一个“公平竞争”的环境，使得评估能更纯粹地聚焦于模型对内容理解的能力。

  • 查询的生成过程也颇具匠心。研究团队设计了详细的提示模板，要求AI生成的查询必须真实反映用户可能的搜索行为，涵盖电影的主题、类型、情感色调等多个方面，同时避免直接包含电影标题。例如，生成的查询既有“寻找一部关于时间旅行的科幻电影”这样的宽泛描述，也包括“想看一部让人深思的独立电影”这样的情感导向查询。

• 核心技术栈。

  • 生成模型。团队使用了Google的flan-t5-base作为核心的生成式语言模型。这个模型需要同时处理两种完全不同类型的任务，对于搜索任务，模型接收用户查询，输出相关电影的身份证；对于推荐任务，模型根据用户的历史行为，预测用户可能喜欢的电影身份证。

  • 多样性保证。为了确保生成结果的丰富性，研究团队采用了一种名为“多样化束搜索”（Diverse Beam Search）的技术。传统的生成方法往往会产生相似度很高的“安全”答案。而多样化束搜索通过引入多样性惩罚机制，鼓励模型生成更加丰富和多元的结果，这对于推荐系统避免内容同质化至关重要。

  • 身份证构建。身份证的具体构建采用了一种叫做RQ-KMeans的聚类方法。简单来说，这种方法会将相似的物品embedding聚集在一起，然后为每个聚类分配一个代表性的代码。一个物品的身份证就由多个这样的代码组成。整个技术实现流程可以清晰地概括如下。

这个流程清晰地展示了从原始的物品内容（如音乐的音频、电影的简介）输入开始，如何通过一系列AI模型和算法，最终生成可供搜索和推荐系统统一使用的“语义身份证”。

4.2 意料之外的实验结果

实验结果揭示了一些既在意料之中又颇为意外的发现。不同方法在各项指标上的性能差异是巨大的，下面的表格直观地总结了这些关键数据。

从表格中可以清晰地看到，任务专用的身份证在各自的任务中表现最佳。搜索专用方法在搜索任务上取得了0.072的最高分，而推荐专用方法则在推荐任务上达到了0.062的峰值。但这两种方法在交叉任务上的表现都惨不忍睹，再次印证了两个任务间的巨大鸿沟。

在所有跨任务方法中，多任务方法的优异表现最令人瞩目。它在搜索任务中达到了0.046的效果，在推荐任务中达到了0.049的效果。虽然这两个数值都没有达到各自任务专用方法的最高水平，但它提供了最佳的整体平衡。这个结果具有重大的实际意义，因为它证明了在需要统一处理搜索和推荐的系统中，多任务方法提供了一个几乎不需要在性能上做巨大权衡的解决方案。

4.3 深入的性能剖析

为了更深入地理解不同方法的特点，研究团队还按照电影的流行程度进行了分层分析。他们将数据集中最受欢迎的1%电影定义为“头部”内容，其余99%定义为“长尾”内容。表格中的“头部推荐”和“长尾推荐”两列，就揭示了这种分层分析下的有趣模式。

• 在头部内容的推荐中，推荐专用方法表现极为突出，达到了惊人的0.170高分。这并不令人意外，因为热门内容拥有海量的用户行为数据，协同过滤方法能够非常有效地捕捉这些强烈的模式。

• 在长尾内容的推荐中，情况发生了戏剧性的反转。搜索专用方法反而表现最好，达到了0.070。这表明，当缺乏足够的用户行为数据时，基于内容的语义相似性就成了更可靠的指导原则。

而多任务方法在这种分层分析中，再次展现了其无与伦比的均衡性。它在头部内容中的表现（0.135）虽然不如推荐专用方法，但在长尾内容中的表现（0.024）也保持了不错的水平。这种在不同流行度内容上都能维持稳健性能的特性，对于实际应用来说至关重要，因为现实世界中的系统需要同时处理好热门和冷门内容。

此外，研究团队对底层技术的对比分析也提供了重要的技术启示。传统观点认为，基于神经网络的自编码器方法（如RQ-VAE）应该比简单的聚类方法表现更好。然而，实验结果显示，RQ-KMeans方法在身份证构建这个特定任务上，显著优于RQ-VAE和其他学习式方法。研究团队推测，这可能是因为在当前任务中，简单而稳定的聚类方法比复杂的生成模型更加可靠。这提醒所有工程师，在选择技术方案时，复杂性并不总是等同于更好的性能。

五、深远影响：从技术架构到用户体验的革新

这项研究的意义远远超出了学术论文的范畴，它为整个推荐系统行业，乃至所有内容服务平台，都提供了重要的发展方向。

5.1 简化技术栈，降低维护成本

目前，大多数大型互联网公司都维护着分离的搜索和推荐系统。这背后是两套独立的团队、两套复杂的特征工程和模型迭代流程。统一的生成式系统能够显著简化服务端的复杂性，共享大部分基础设施，不仅能大幅降低开发和维护成本，还能提升系统的一致性和可靠性。

5.2 根治冷启动，赋能内容生态

统一系统的优势在处理新物品时体现得淋漓尽致。传统的基于ID的推荐系统面临严重的冷启动问题，新歌曲、新电影往往需要漫长的等待期才能被有效推荐。而基于语义身份证的系统，能够立即理解新物品的内容特征，即使没有任何用户行为数据，也能基于内容相似性进行合理的推荐和搜索匹配。

这种能力对于内容创作者来说意义重大。新晋艺术家的作品不再需要等待遥遥无期的“出头之日”，系统能够基于音乐的风格、情感等语义信息，立即将其推送给可能喜欢的用户群体。这有助于打破头部内容主导的马太效应，形成更加健康和多元化的内容生态。

5.3 创造无缝体验，重塑用户旅程

从用户体验的角度看，统一系统能够提供更加连贯和智能的服务。用户不再需要在搜索和发现之间切换不同的交互模式，系统能够在用户的整个使用过程中保持上下文的连续性。

比如，当一个用户搜索“适合跑步的音乐”后，系统不仅能返回相关的结果，还能在后续的“每日推荐”中，持续关注并推送用户的运动音乐偏好。用户的即时意图被无缝地融入了长期偏好的塑造过程中，这是一种更深层次的个性化。

5.4 引领行业趋势，迈向综合智能

Spotify的研究结果还揭示了个性化技术发展的一个重要趋势，即从简单的协同过滤，向多模态、多任务的综合智能发展。未来的推荐系统不仅要理解用户的历史行为，还要能够理解用户的即时意图、情感状态、使用场景等多维度信息。语义身份证，正是为这种综合理解提供了坚实的技术基础。

六、前路漫漫：挑战与未来展望

尽管研究结果令人鼓舞，但将这种先进技术大规模应用于实际生产环境，仍然面临诸多挑战。

6.1 计算复杂性与工程落地

生成式模型，特别是基于大型语言模型的系统，通常需要比传统推荐系统更多的计算资源。在需要毫秒级响应的在线服务中，如何在模型复杂性和响应速度之间找到最佳平衡点，是一个关键的工程难题。

6.2 数据质量与隐私保护

多任务训练需要高质量的搜索查询-物品配对数据和用户行为数据。虽然用户行为数据相对容易获取，但高质量的查询数据往往需要人工标注，或像本研究一样使用大型语言模型生成，成本不菲。同时，如何在这种联合建模中，利用好用户的搜索查询和行为数据，同时严格保护用户隐私，需要更加精细和可靠的隐私保护策略。

6.3 模型的可解释性难题

传统的推荐系统虽然复杂，但其决策过程相对容易分析和调试。生成式系统的“黑盒”特性，使得理解和改进系统行为变得更加困难。当推荐结果不符合预期时，如何快速定位和修复问题，需要新的工具和方法论。

6.4 未来的研究方向

研究团队也为未来的探索指明了几个方向。

• 更高效的融合方法。当前的融合方法仍有改进空间，基于注意力机制或元学习的融合方法可能带来更好的效果。

• 动态的身份证更新。随着用户行为的变化和内容理解的深入，物品的语义表示也应该相应更新。设计一个既稳定又能适应变化的动态身份证系统，是一个有趣的研究方向。

• 多语言与跨文化泛化。当前研究主要基于英文内容，如何构建能够跨语言、跨文化泛化的语义身份证，对于全球化的服务提供商至关重要。

结论

说到底，Spotify的这项研究为我们展示了人工智能技术发展的一个重要趋势，即从专用系统向通用系统的演进。就像当年智能手机统一了电话、相机、音乐播放器等多个设备的功能一样，一个统一的、基于生成式模型的推荐系统，很可能会成为未来内容服务的标准架构。

通过创新的“语义身份证”和巧妙的多任务学习框架，这项工作不仅为统一搜索和推荐这两个长期“左右互搏”的系统提供了切实可行的路径，也为解决行业顽疾“冷启动”问题带来了曙光。

虽然这条路上还有许多技术和工程挑战需要克服，但Spotify的研究为我们指明了一个充满希望的方向。对于每一个使用数字内容服务的普通用户来说，这意味着一个更智能、更连贯、更懂你的个性化体验，正在向我们走来。

📢💻 【省心锐评】

抛弃ID，拥抱语义，Spotify此举是推荐系统从“行为统计学”迈向“认知智能”的关键一步。多任务学习的胜利，预示着未来不再是单点优化，而是全局协同的胜利。