6.乳腺癌良性恶性预测（二分类、逻辑回归、PCA降维、SVD奇异值分解）

1. 特征工程

• 专业上：30个人特征来自于临床一线专家，每个特征和都有医学内涵；
• 数据上：30个中可能有一些是冗余的。

1.1 特征筛选

• 从30个选出重要的，踢掉不重要的。
• 从数据的角度来讲，不建议进行特征筛选，做特征筛选可能只是为了解释性，给领导看看而已。因为再不重要的特征都有信息，筛选掉必然导致信息的丢失。
• 线性回归的系数代表该项特征的重要性，系数就代表权重。
• 使用协方差或皮尔逊系数判断两列特征的相关性。

1.2 特征降维 PCA

• 把原来30个特征中的核心信息中抽取出来，融合到新生成的几个特征中，新的特征不是原来的任何一个！
• PCA（Principal Component Analysis，主成分分析）

1.3 SVD奇异值分解

• SVD（奇异值分解）是一种在信号处理、统计学、机器学习等领域广泛应用的矩阵分解方法。
• 它可以将一个矩阵分解为三个特定的矩阵的乘积，这三个矩阵分别是：一个正交矩阵、一个对角矩阵（其元素为奇异值，且按从大到小排列）以及另一个正交矩阵的转置。

2. 代码

2.1 逻辑回归、二分类问题

$y=F(X)=sigmoid(x_{}$