导语：特征对于机器学习很重要，整个模型发展的主旋律之一就是对有效特征及其组合的发现和使用。实际场景中影响结果的特征有很多，随着发展业务对预估的精度要求不断提高，模型结构也越来越复杂。召回与排序涉及的模型如过江之鲫，不胜枚举，本文试图通过梳理发展历程找出其中的演化痕迹，欢迎大家探讨学习。

一、通过梳理可以发现有几条主线

• 特征的范围：从只使用动态交互信息的协同过滤，到引入用户/广告自身静态信息(sideinfo)，再到火热的知识图谱图神经网络，特征涵盖的范围不断扩展。动态交互类特征相比其他特征更为重要，模型在起始阶段聚焦于主要因素，后续随着业务发展向周边延伸使整体覆盖的信息更加全面，这是一种正常的演化思路。
• 特征的使用：对特征的使用在不断创新，从线性到非线性、从低阶特征到高阶，借助模型结构不断发现新的组合方式， 这是另一个主方向。
• 现有结构的深层次刻画：将一个点扩展成一个复杂系统，利用内部结构拟合真相，比如embeding把一个概念扩展成多维向量，再从静态表示到结合上下文获得动态向量，比如attention思想将简单的一视同仁发展到根据实际情况区别对待。

在展开之前先简要介绍下协同过滤，作为传统手艺它启发了FM、NN后续发展，有重要的历史地位。协同过滤主要的场景用数据形式表达：用户对物品有个打分矩阵，其中部分值已经填充代表用户和物品有过交互，还有部分空缺的值代表未交互，最终任务是把这些空缺填上。

针对上面的场景协同过滤提出一种假设：用户对物品的分数是用户隐向量和物品隐向量求点击积获得的，这个假设很强大：把求未知分数转化为求二者的隐向量，学习过程比较常规利用矩阵中已有的值来训练向量，当预估值足够接近真实标记时获得隐向量，然后通过点积将空缺填满。

协同过滤通过转换建立起已知和未知的纽带，利用已知预测去未知从逻辑上变成可能，操作虽然简单但里面包含的思想很了不起。

下面主要从特征组合这条线梳理模型脉络，实际场景的特征数量很多，做笛卡尔积太简单粗暴，不仅运算量大特征有效性也无法保障，所以LR以后包括FM 、树、图、神经网络在内都是借助自身结构来获得有效特征。

二、特征组合