均方误差损失函数（简称均方损失）可以用于线性回归的一个原因是：我们假设相对于模型的预测，原数据的实际值中包含噪声，其中噪声服从正态分布。 噪声分布如下式： y = \omega^Tx+b+\epsilon 其中，\epsilon \sim N(0,\sigma^2) 因此，我们现在可以写出通过给定的

smilkes发布于 July 10,2024

PCA降维算法推导   主成分分析（PCA）是一种常用的无监督学习方法，这一方法利用正交变换（也就是对原坐标系做旋转变换）把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称作主成分。   算法原理有最大方差理论以及最小均方误差理论。   下面利用数学推导PCA算法

smilkes发布于 June 01,2024

决策树相关笔记 一.划分准则 1.熵和信息增益   熵的计算：                    熵(S)=-p_1log(p_1)-p_2log(p_2)   在这里，S 表示一个分支的样本，p_1 表示该样本中属于 class1 类别的概率，p_2 是该样本中数据属于 class2 类别的概

smilkes发布于 May 29,2024

逻辑回归相关笔记 一.构建逻辑回归模型   对于二值目标数据，将建立逻辑回归线。利用如下的方程来建立逻辑回归线。与线性回归线类似，逻辑回归线中也有相关系数 β_0 和 β_1 需要计算。   逻辑回归的公式如下所示。                        y=\frac{e^{β_0+β_1

smilkes发布于 May 29,2024

线性回归相关笔记 一.R-squared(拟合度)   R-squared是一个衡量模型拟合度的量。   计算公式：                 R-squared=\frac{SSR}{SST}=1-\frac{SSE}{SST}   其中：SST是原始数据和均值之差的平方和，SSR即预测数据

smilkes发布于 May 28,2024