模型

多项式曲线拟合

多项式曲线拟合 - 知乎 (zhihu.com)

(32条消息) 多项式曲线拟合（Polynomial Curve Fitting）_Duanxx的博客-CSDN博客_多项式曲线拟合算法

(32条消息) 2021数学建模国赛B题复盘详细解析_川川菜鸟的博客-CSDN博客

• 数学表达式：

$y(x,W)=w_{0}+w_{1}x+w_{2}x^{2}+...+w_{M}x^{M}=\sum_{j=0}^{M}w_{j}x^{j}$

其中$M$是多项式的阶数（最高次数），$w_{0},...,w_{M}$是多项式的系数，记作$W$。

虽然多项式函数$y(x,W)$是关于$x$非线性函数，但是却是关于多项式系数$W$的线性函数。

• 样本的数目为$N$，对于每一个样本$x_{n}$，其对应的输出为$t_{n}$，用平方误差和（均方误差）作为损失函数来对拟合出的多项式进行评估：

$E(w)=\frac{1}{2}\sum_{n=1}^{N}\lbrace y(x_{n},w)-t_{n} \rbrace^{2}$

这里在损失函数前面加入一个$\frac{1}{2}$，只是为了后面的推导方便，其并不影响最终的结果。

• 过拟合和欠拟合都不能代表目标函数，且对新数据不具备良好的泛化能力。解决方式一，可以通过增大数据规模有效的减轻模型的过拟合问题。解决方式二，通过正则化实现，就是为误差函数增加一个惩罚项使多项式系数被有效的控制。均方误差函数修改为：

$\tilde{E}(w)=\frac{1}{2}\sum_{n=1}^{N}\lbrace y(x_{n},w)-t_{n} \rbrace^{2}+\frac{\lambda}{2}||W||^{2}$

其中$||W||^{2}=W_{T}W=w_{0}^{2}+w_{1}^{2}+...+w_{M}^{2}$，这种二次正则项的应用也叫做山脊回归

相关性分析

相关性分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量因素的相关密切程度。相关性的元素之间需要存在一定的联系或者概率才可以进行相关性分析。

数据特征分析·相关性分析 - 知乎 (zhihu.com)