数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。
那特征工程是什么？
特征工程又包含了 Data PreProcessing（数据预处理）、Feature Extraction（特征提取）、Feature Selection（特征选择）和 Feature construction（特征构造）等子问题，本章内容主要讨论特征构造的方法。
笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尓积（ Cartesian product ），又称直积，表示为 X×Y ，第一个对象是X的成员而第二个对象是 Y 的所有可能有序对的其中一个成员。
假设集合 A={a, b} ，集合 B={0, 1, 2} ，则两个集合的笛卡尔积为 {(a, 0), (a, 1), (a, 2), (b, 0), (b, 1), (b, 2)}。
通过将单独的特征求笛卡尔乘积的方式来组合2个或更多个特征，从而构造出组合特征。
最终获得的预测能力将远远超过任一特征单独的预测能力。
例如，如果狗狗在下午5点主人下班回来时（快乐地）叫喊，可能表示对主人满意度的正面预测结果。如果狗狗在凌晨3点主人熟睡时（也许痛苦地）哀叫，可能表示对主人满意度的强烈负面预测结果。
这两个特征各自可以离散化为3维和2维的向量，对它们做笛卡尔乘积转化，就可以组合出长度为6的特征，它们分别对应着原始值对 (red, on)，(red, off)，(green, on)，(green, off)，(blue, on)，(blue, off)。下面的矩阵表达方式更清楚地说明了这种组合。
on
off
red
green
blue
对于三个特征的笛卡尔乘积组合，可以表达为立方的形式。更多特征的组合依次类推。这个方法也可以直接用于连续特征与类别特征之间的组合，只要把连续特征看成是一维的类别特征就好了，这时候组合后特征对应的值就不是 0/1 了，而是连续特征的取值。
样本
color=red& light=on
color=red& light=off
color=green& light=on
color=green& light=off
color=blue& light=on
color=blue& light=off
输出
color
light
on
red
on
green
off
blue
off
red
off
green
输出
color_off& light_blue
color_off& light_green
color_off& light_red
color_on& light_blue
color_on& light_green
color_on& light_red
样本
0<lat<=10& 0<lon<=15
0<lat<=10& 15<lon<=30
10<lat<=20& 0<lon<=15
10<lat<=20& 15<lon<=30
20<lat<=30& 0<lon<=15
20<lat<=30& 15<lon<=30
遗传编程或称基因编程，简称GP，是一种从生物演化过程得到灵感的自动化生成和选择计算机程序来完成用户定义的任务的技术。从理论上讲，人类用遗传编程只需要告诉计算机“需要完成什么”，而不用告诉它“如何去完成”，最终可能实现真正意义上的人工智能：自动化的发明机器。
遗传编程是一种特殊的利用进化算法的机器学习技术，它开始于一群由随机生成的千百万个计算机程序组成的“人群”，然后根据一个程序完成给定的任务的能力来确定某个程序的适合度，应用达尔文的自然选择（适者生存）确定胜出的程序，计算机程序间也模拟两性组合，变异，基因复制，基因删除等代代进化，直到达到预先确定的某个终止条件为止。
当然我这里不是想尝试符号回归的机器学习方式，而是符号回归的机器学习方式提供了另外一种生成特征的思路。
目前，python 环境下最好用的基因编程库为gplearn。虽然遗传编程 (GP) 可以用来执行非常广泛的任务，但是 gplearn 有目的地约束了符号回归问题。
在手工特征工程中，我们会对两个或者多个特征进行一些加减乘除的操作，来生成一些特征，希望能够生成一些根据领域的先验知识，对金额特征, 日期特征进行比值操作生成一些特征，这些特征经常能够提升验证集和测试集的分数，在模型中也有很高的重要程度。
gplearn 这个库提供了解决的思路：
gplearn 的主要组成部分有两个：SymbolicRegressor 和 SymbolicTransformer 。两者的适应度有所不同。
把已有的特征进行组合转换，组合的方式（一元、二元、多元算子）可以由用户自行定义，也可以使用库中自带的函数（如加减乘除、min、max、三角函数、指数、对数）。组合的目的，是创造出和目标y值最“相关”的新特征。这种相关程度可以用spearman或者pearson的相关系数进行测量。spearman多用于决策树（免疫单特征单调变换），pearson多用于线性回归等其他算法。