线性回归（Linear Regression）

1 算法概述

2 应用场景

• 表格数据中的连续目标预测

• 特征与目标的线性相关性分析

• 建立基线模型或可解释性强的参考模型

• 金融、医疗、经济等要求模型可解释的领域

3 优缺点

• 模型简单直观，计算速度快

• 参数可直接解释，每个系数代表一个特征的贡献方向和大小

• 对特征缩放和标准化敏感性较低

• 假设特征与目标为线性关系，无法捕捉非线性模式

• 对异常值敏感，容易被极端样本拉偏

• 多重共线性会导致系数不稳定

• 需要特征工程（如标准化、离群点处理）才能稳定表现

4 主要超参数与工业调参经验

• 若特征量级差异大，应在训练前做标准化；

• 对含异常值的数据，可考虑使用稳健回归（如 RANSAC 或 HuberRegressor）；

• 若担心过拟合或共线性，可切换到岭回归或 Lasso；

• 线性回归更适合作为 baseline，而非最终生产模型。

5 可解释性与评价

• 每个系数 w 代表对应特征对预测结果的线性贡献；正值表示正相关，负值表示负相关

• 截距项表示当所有特征为 0 时模型的预测值

• 可通过标准化系数比较特征影响力大小

• 回归：R²、MAE、MSE、RMSE

• 模型解释性分析可通过系数表或残差图进行验证

6 常见问题

• 先计算特征间相关系数矩阵或方差膨胀因子（VIF）筛掉高相关特征；

• 或改用带正则化的岭回归（Ridge）。

• 对特征进行 Winsorize 或 z-score 截断；

• 改用鲁棒回归（HuberRegressor 或 RANSACRegressor）。

• 减少特征数量或使用正则化；

• 对输入做特征选择或主成分降维；

• 检查是否存在信息泄露（如目标编码特征未分层）。

• 使用 positive=True 限制系数为非负；

• 或对目标值进行对数建模并指数反变换输出。

• 解释性分析应基于原始尺度数据重新拟合一次模型；

• 或保存标准化系数及标准差，用反变换恢复真实系数。

7 代码示例

在本地 Jupyter Notebook 环境中

在 AWS SageMaker 平台上

Lasso 回归（Lasso Regression）

1 算法概述

2 应用场景

• 高维特征场景：如带大量派生特征的业务表、NLP 的简单 bag-of-words 特征

• 需要自动特征选择：希望模型给出一个相对“稀疏”的特征集合

• 存在多重共线性：相关特征中只保留其中一部分

• 建立可解释的稀疏线性模型，用作特征筛选的前置步骤

3 优缺点

• 能将一部分系数压缩为零，起到特征选择作用

• 可以缓解过拟合，提升泛化能力

• 对多重共线性更稳定，通常会在相关特征中择优保留部分

• 特征高度相关时，选择哪一个保留不稳定，可解释性有时会变差

• 对特征缩放非常敏感，必须做标准化，否则惩罚不公平

• 在样本数远小于特征数时，最多只能选择样本数个非零特征

• 对强非线性关系仍然无能为力，本质仍是线性模型

4 主要超参数与工业调参经验

• 使用前几乎一定要对特征做标准化（StandardScaler），否则惩罚项会偏向数值尺度大的特征。

• alpha 的选择对结果影响极大，不要凭感觉拍值，建议使用 LassoCV 或 ElasticNetCV 进行交叉验证寻优。

• 如果模型总是收敛警告，可以：
• 增大 max_iter；
• 适当调大 tol；
• 检查是否存在极端异常值或极端共线。

• 当 alpha 很大时，模型容易退化成仅截距非零，其余系数全零，说明惩罚过强。

• 若希望既有特征选择又不过于“全或无”，可以考虑 Elastic Net（L1 + L2 混合正则）。

5 可解释性与评价

• 系数为零的特征可以视为被模型“抛弃”，非零系数特征即模型认为有用的特征集合。

• 在特征已标准化的前提下，系数的绝对值可以大致反映相对重要性。

• 与普通线性回归相比，Lasso 更倾向于产生稀疏模型，使解释更集中。

• 回归任务：R²、MSE、RMSE、MAE

• 额外可以关注：
• 非零系数数量（模型复杂度）
• 交叉验证误差随 alpha 变化的曲线，用于选择合适正则强度

6 常见问题

• 如果特征高度相关，Lasso 会在“相似特征”之间做选择，本来就不稳定；

• 可以先做特征聚类或降维（如 PCA），再用 Lasso；

• 或改用 Elastic Net，引入 L2 正则提升稳定性。

• 增大 max_iter，比如从默认加到 5000 或 10000；

• 调大 tol，让优化器更容易认为“已经够好了”；

• 检查是否存在极端异常点，可进行裁剪或使用鲁棒缩放；

• 若特征维度非常高，可先做特征筛选或降维。

• 把 alpha 调小一些，让模型更宽松；

• 使用 LassoCV 选择 alpha，并观察不同 alpha 下的稀疏度；

• 在业务上可采用“被多次交叉验证选中”的特征作为稳定特征集，而不是盯一次结果。

• 确保使用的是标准化后的特征再看系数，否则尺度问题会干扰解读；

• 可以配合残差分析和特征重要性排序，避免只看单一特征；

• 对业务方解释时，可以说“在其他特征保持不变时，该特征每增加一个标准差，目标平均变化多少”。

7 代码示例

在本地 Jupyter Notebook 环境中

在 AWS SageMaker 平台上

岭回归（Ridge Regression）

1 算法概述

2 应用场景

• 存在强相关特征的线性回归任务（解决共线性问题）

• 特征数接近或超过样本数的高维数据集

• 需要平衡模型复杂度与泛化能力的连续值预测任务

• 金融、医疗、市场分析等需保留全部特征但控制波动的领域

3 优缺点

• 缓解多重共线性问题，系数更稳定

• 可以在高维数据中正常拟合，不易出现系数爆炸

• 不会强制特征系数为零，适合希望保留全部特征的场景

• 不具备特征选择能力（所有特征系数仍非零）

• 正则化强度需要调参，否则容易欠拟合

• 对特征缩放敏感，必须先标准化

4 主要超参数与工业调参经验

• 训练前必须标准化，否则正则化对不同尺度特征不公平。

• alpha 的选择决定模型的平滑度：
• alpha 小 → 偏向普通线性回归，可能过拟合；
• alpha 大 → 系数趋近于零，模型过于平滑。

• 可用 RidgeCV 自动选择最佳 alpha，通常比人工网格搜索高效。

• 当特征高度相关时，岭回归会让相关系数的权重更平均，减少方差波动。

• 若想兼顾稀疏与稳定性，可考虑 Elastic Net（L1+L2）。

5 可解释性与评价

• 各特征的系数表示其对目标的线性影响，但受到正则化“收缩”；

• 由于所有特征都保留，可用于整体趋势分析；

• 若标准化后，可直接比较不同特征系数大小；

• 可绘制 alpha 与系数变化曲线（路径图）评估模型敏感度。

• 回归指标：R²、MSE、RMSE、MAE

• 正则效果指标：不同 alpha 下的交叉验证得分曲线（通过 RidgeCV 获取）

6 常见问题

• auto：默认自动选择；

• svd：适合小规模数据；

• sag / saga：适合大规模稀疏数据；

• cholesky：矩阵较小时速度快。
一般 auto 足够，遇到收敛慢再更换。

• 增大 alpha；

• 增加训练样本或使用特征降维；

• 检查是否存在强异常值；

• 或改用 Lasso/Elastic Net 获取更强约束。

• 小 alpha 倾向高方差、低偏差模型（拟合度高但泛化差）；

• 大 alpha 倾向低方差、高偏差模型（更稳但欠拟合）；

• 可通过 RidgeCV 自动选择最优点（偏差-方差平衡）。

7 代码示例

在本地 Jupyter Notebook 环境中

在 AWS SageMaker 平台上

决策树（Decision Tree）

1 算法概述

2 应用场景

• 表格型结构化数据的分类或回归

• 特征与目标关系可分段近似的任务（如信用评分、用户分群）

• 建立可解释的规则模型，用于展示“如果……那么……”的逻辑

• 作为集成学习（如随机森林、GBDT）的基学习器

3 优缺点

• 模型可视化、逻辑清晰，易于解释和沟通

• 对特征缩放、标准化不敏感

• 能处理非线性关系与特征交互

• 可同时处理数值与类别特征

• 极易过拟合，尤其深树

• 数据稍有波动就可能导致树结构剧烈变化（高方差）

• 连续变量多时划分偏好高基数特征

• 不稳定，不适合直接用于高维噪声数据

4 主要超参数与工业调参经验

• max_depth 是控制过拟合的关键参数，建议先设较浅深度（如 8~12）观察效果。

• min_samples_leaf 是防止“孤立叶子”的有效手段，推荐 >=2。

• 若类别不平衡，用 class_weight='balanced' 能自动调整权重。

• 特征维度高时，限制 max_features 能显著提速。

• 若数据噪声大，可结合剪枝参数（ccp_alpha）裁剪树。

• 若树过大，可用 export_text 或 plot_tree 可视化理解分裂逻辑。

5 可解释性与评价

• 每个内部节点是一条“条件规则”；每个叶子节点代表最终预测。

• 可直接绘制树结构（plot_tree），展示分裂路径与阈值。

• 可计算特征重要性（feature_importances_），反映每个特征对分裂贡献。

• 分类：Accuracy、Precision、Recall、F1、ROC-AUC

• 回归：MSE、MAE、R²

• 模型复杂度：叶子节点数量、树深度

6 常见问题

• 连续特征自动按数值阈值划分；

• 类别特征需编码（LabelEncoder / OneHotEncoder），或使用支持类别特征的实现（如 LightGBM）。

• 特征间高度相关会导致重要性分散；

• 可使用 permutation importance 检查稳定性；

• 集成模型（随机森林）能缓解单树的不稳定性。

• 限制 max_features；

• 调整 splitter='random' 增加速度；

• 考虑使用随机森林或 GBDT 替代。

7 代码示例

在本地 Jupyter Notebook 环境中

在 AWS SageMaker 平台上

随机森林（Random Forest）

1 算法概述

• 每棵树从训练集中随机有放回抽样（Bootstrap）。

• 每个分裂节点仅在随机选择的部分特征上寻找最优划分。
这种“样本 + 特征双随机”的机制，使森林内的树彼此去相关化，最终综合投票比单棵决策树更稳健、更抗过拟合。
广泛用于分类、回归、异常检测和特征重要性分析任务。

2 应用场景

• 通用表格型数据建模（分类 / 回归）

• 特征重要性评估与筛选

• 异常检测、缺失值鲁棒预测

• 作为基准模型或业务快速建模方案

• 结构性数据（金融、医疗、制造、营销等领域）

3 优缺点

• 对异常值、噪声和缺失值鲁棒

• 不易过拟合（通过平均降低方差）

• 可并行训练，训练速度快

• 自动给出特征重要性评估

• 无需特征缩放或归一化

• 模型体积大、推理速度慢

• 对高维稀疏数据（如文本）不适合

• 对分布外样本（外推）预测能力弱

• 单次预测可解释性低

4 主要超参数与工业调参经验

• 优先通过调节 max_depth 和 n_estimators 控制模型规模与性能。

• 若模型过拟合，可增大 min_samples_leaf 或减小 max_depth。

• 特征数量过多时，限制 max_features 能显著提高训练速度。

• 对不平衡分类问题，class_weight='balanced' 能有效提升召回率。

• 如果训练速度慢，可减少 n_estimators 或开启并行计算（n_jobs=-1）。

• 对输出可解释性有需求时，应结合特征重要性分析（Permutation Importance）。

5 可解释性与评价

• 全局层面可通过 feature_importances_ 查看特征重要性。

• 局部层面可用 SHAP 或 LIME 分析单样本决策依据。

• 也可计算 OOB（Out-of-Bag）误差衡量模型泛化性能。

• 分类：Accuracy、F1、ROC-AUC、LogLoss

• 回归：MSE、MAE、R²

• 模型复杂度指标：树数量、平均深度、OOB 分数

6 常见问题

• 设置 class_weight='balanced'；

• 或在数据层面进行重采样（SMOTE、欠采样等）；

• 或用 BalancedRandomForestClassifier 替代。

• 当特征高度相关时，重要性会被“平均分摊”；

• 可用 permutation importance 重新评估；

• 也可用 SHAP 分析真实贡献。

• 减少 n_estimators；

• 限制树深度；

• 导出为 ONNX 或使用 joblib 并行预测；

• 对极端低延迟需求场景可用 ExtraTrees。

7 代码示例

在本地 Jupyter Notebook 环境中

在 AWS SageMaker 平台上

GBDT（Gradient Boosting Decision Tree）

1 算法概述

2 应用场景

• 表格型结构化数据（Kaggle、金融、风控、CTR 预估等）

• 中小规模样本（1 万～几百万行）

• 特征间存在复杂交互关系、非线性映射

• 高精度需求的预测任务（分类 / 回归 / 排序）

3 优缺点

• 精度高，能有效捕捉非线性关系

• 不需要特征缩放

• 对缺失值与异常值鲁棒（部分实现支持）

• 支持特征重要性输出

• 适用于多种任务（分类、回归、排序）

• 训练串行，速度慢于 Bagging 类模型

• 超参数多，调参复杂

• 对噪声敏感，过多迭代易过拟合

• 模型结构复杂，可解释性差

4 主要超参数与工业调参经验

• 优先关注 learning_rate 与 n_estimators 的平衡：低学习率（如 0.05）需较多树（500+），高学习率（如 0.2）需较少树（100 左右）。

• max_depth 和 min_child_weight 共同决定模型复杂度：越小越灵活但易过拟合。

• subsample 和 colsample_bytree 是防止过拟合的关键参数。

• 使用早停（early_stopping_rounds）能显著提升训练效率与泛化。

• 调参优先顺序：learning_rate → n_estimators → max_depth/min_child_weight → subsample/colsample_bytree。

5 可解释性与评价

• 通过特征重要性（split gain 或 SHAP 值）分析模型特征贡献。

• 使用 SHAP 可解释单样本的特征影响方向。

• 部分框架（LightGBM、XGBoost）支持特征重要性可视化。

• 分类：Accuracy、F1、ROC-AUC、LogLoss

• 回归：MSE、RMSE、R²

• 迭代过程监控：训练集与验证集的损失曲线

6 常见问题

• 降低 max_depth；

• 使用较小的 learning_rate（0.05～0.1）；

• 使用 subsample / colsample_bytree < 1；

• 启用 early_stopping_rounds；

• 增加正则项（reg_lambda、reg_alpha）。

• 使用 LightGBM 或 XGBoost GPU 加速；

• 减小 max_depth、max_leaves；

• 采样（subsample、colsample_bytree）；

• 启用 histogram-based 构建（LightGBM 默认）。

• 启用 early stopping 减少冗余树；

• 用 XGBoost 的 model compression 或 Treelite 导出；

• 对推理场景可转换为 ONNX 或 TensorRT 格式。

7 代码示例

在本地 Jupyter Notebook 环境中（XGBoost 实现）

使用 LightGBM 实现（推荐用于大数据场景）

在 AWS SageMaker 平台上（LightGBM 内置容器）

• sklearn 生态：快速原型、教学场景

• XGBoost：工业标准、兼顾性能与解释性

• LightGBM：大数据与线上推理首选

XGBoost（Extreme Gradient Boosting）

1 算法概述

• 引入二阶导数信息（提升优化精度）

• 内置正则化项（防止过拟合）

• 支持稀疏特征与缺失值自动分裂

• 支持多线程与分布式训练

2 应用场景

• 大多数结构化表格数据任务（分类、回归、排序、异常检测）

• 特征间存在复杂非线性关系的建模

• 样本量中大规模（1 万 ~ 几百万）任务

• 需要兼顾速度、性能、解释性的工程场景

3 优缺点

• 支持并行训练，计算效率高

• 内置 L1/L2 正则，防止过拟合

• 可自动处理缺失值和稀疏特征

• 可输出特征重要性，支持 SHAP 分析

• 参数可高度调优，适应性强

• 超参数较多，调参复杂

• 学习率和树数需精细平衡，否则易过拟合

• 推理延迟略高，模型体积大

• 可解释性低于线性模型

4 主要超参数与工业调参经验

• 调参顺序通常为：max_depth → min_child_weight → gamma → subsample / colsample_bytree → learning_rate / n_estimators。

• 使用早停（early_stopping_rounds）是加速与防止过拟合的关键。

• learning_rate 低于 0.05 时建议 n_estimators 提升到 500~1000。

• 通过调整 reg_lambda / reg_alpha 可以提高泛化能力。

• 对大数据集，建议开启 GPU 加速或分布式模式。

• 对类别不平衡数据，可设置 scale_pos_weight = N_neg / N_pos。

5 可解释性与评价

• 全局解释：feature_importances_（按分裂增益或次数）

• 局部解释：使用 SHAP 或 LIME 查看单样本预测依据

• 可视化：xgb.plot_importance(), xgb.plot_tree()

• 分类：Accuracy、F1、AUC、LogLoss

• 回归：RMSE、MAE、R²

• 模型诊断：训练/验证误差曲线、特征重要性分布

6 常见问题

• XGBoost 在 GBDT 基础上使用二阶梯度、正则化项和加权分裂增益；

• 内置多线程、缺失值处理和缓存优化；

• 实际上是“工业级 GBDT”。

• 减小 max_depth；

• 增大 min_child_weight、gamma、reg_lambda；

• 降低 learning_rate 并提高 n_estimators；

• 使用 early_stopping_rounds 防止过拟合。

• 使用 tree_method='hist' 或 'gpu_hist'；

• 调低 n_estimators；

• 增大 subsample / colsample_bytree 减少计算；

• 启用 multi-thread（n_jobs=-1）。

• 设置 scale_pos_weight = N_neg / N_pos；

• 或用 eval_metric='auc'，提升 AUC 表现；

• 若样本严重不平衡，可尝试 SMOTE 重采样。

• 特征高度相关时重要性分散，可结合 permutation importance；

• SHAP 值更可靠，可视化单样本决策路径。

• 通过 model.save_model("model.json") 保存；

• 可导出为 ONNX、PMML 或 Treelite 格式部署。

7 代码示例

在本地 Jupyter Notebook 环境中

在大规模数据场景中（GPU 加速版）

在 AWS SageMaker 平台上（使用 XGBoost 内置容器）

LightGBM（Light Gradient Boosting Machine）

1 算法概述

2 应用场景

• 中大型结构化数据（数十万到上千万样本）

• 特征维度高但稀疏的任务（如 CTR 预估、搜索排序）

• 对训练速度或线上推理性能有要求的场景

• Kaggle 比赛和金融风控的高精度建模

3 优缺点

• 训练速度快、内存占用低（基于直方图和分桶优化）

• 支持类别特征原生输入，无需 One-Hot 编码

• 支持分布式与 GPU 训练

• 内置早停（early stopping）与自动特征选择

• 模型精度高，调参空间大

• 叶子优先生长可能导致过拟合，需要控制深度

• 调参复杂，默认参数对不同数据集敏感

• 可解释性较低

• 小样本下性能不稳定

4 主要超参数与工业调参经验

• num_leaves 与 max_depth 是控制复杂度的关键；经验法则：num_leaves ≈ 2^(max_depth)。

• learning_rate 与 num_boost_round 需配合调节；低学习率（如 0.05）需更多迭代。

• 对大数据集，应启用 feature_fraction 与 bagging_fraction 防止过拟合。

• 小数据集可适当调低 num_leaves、增大 min_data_in_leaf。

• early_stopping_rounds 是高效训练与防止过拟合的重要手段。

• 使用 categorical_feature 参数可以原生处理类别变量，性能优于 One-Hot。

5 可解释性与评价

• 全局特征重要性：通过 feature_importance() 输出。

• 局部解释：可使用 SHAP 评估单样本贡献。

• 树结构可导出为文本或 JSON，便于规则分析。

• 分类：Accuracy、F1、ROC-AUC、LogLoss

• 回归：RMSE、MAE、R²

• 排序任务：NDCG、MAP

6 常见问题

• 采用直方图算法，减少特征扫描计算；

• 使用叶子优先策略，每次扩展信息增益最大的叶子；

• 支持多线程与 GPU 加速。

• 叶子优先策略比层次生长更激进，容易深度不均；

• 调小 num_leaves 或增大 min_data_in_leaf；

• 使用 bagging_fraction、feature_fraction 降低方差；

• 增大正则项（lambda_l1 / lambda_l2）。

• 直接将类别特征列名传入 categorical_feature 参数即可；

• 不需做 One-Hot，内部会自动编码处理。

• 可能学习率太大；

• 或 num_leaves 太少、max_depth 太小导致欠拟合；

• 检查是否错误地使用了 early_stopping_rounds 导致过早停止。

• 启用 histogram 和多线程；

• 开启 GPU（device_type='gpu'）；

• 可直接在多台机器上使用 LightGBM 的分布式模式。

• LightGBM 速度更快，适合大数据集和线上部署；

• XGBoost 表现更稳定，调参更直观；

• 实际工程中常双模型交叉验证，择优使用。

7 代码示例

在本地 Jupyter Notebook 环境中

在大规模数据场景中（GPU 加速）

在 AWS SageMaker 平台上（使用 LightGBM 内置容器）

支持向量机（SVM, Support Vector Machine）

1 算法概述

2 应用场景

• 二分类任务（如垃圾邮件识别、信用审批）

• 特征维度高但样本量相对较小的任务（如文本分类、图像识别）

• 非线性可分问题（使用 RBF 核或多项式核）

• 需要高解释性或强泛化能力的小样本场景

3 优缺点

• 在小样本、高维特征场景下表现优异

• 支持多种核函数，能适应不同数据分布

• 具有明确定义的最优间隔，理论基础扎实

• 对噪声较鲁棒（使用软间隔）

• 对大规模数据计算成本高（O(n²) 或 O(n³)）

• 超参数（C、γ、kernel）敏感，调参困难

• 多分类需通过一对多或一对一策略实现，复杂度上升

• 不直接提供概率输出（需额外拟合）

4 主要超参数与工业调参经验

• 核函数选择是关键：
• 线性核（linear）：适合特征线性可分、维度高的稀疏数据（如文本）。
• 多项式核（poly）：能建模特征交互关系，但计算代价高。
• RBF 核（径向基核）：最常用，能捕捉局部非线性模式。
• Sigmoid 核：类似神经网络中的激活函数，用得少。

• RBF 核中，C 与 gamma 需配合调节：
• C 大、gamma 大 → 拟合紧密但易过拟合。
• C 小、gamma 小 → 边界平滑但欠拟合。

• 对高维稀疏特征（文本、NLP），建议使用 LinearSVC，效率高得多。

• 大规模样本 (>10⁴) 时，可考虑采用 SGDClassifier 或核近似方法（Nystroem）。

5 可解释性与评价

• 线性核下可直接查看 coef_ 表示各特征权重。

• 非线性核的解释需借助 SHAP 或 LIME。

• 支持向量（support_vectors_）可用于分析模型决策边界。

• 分类：Accuracy、F1、Precision、Recall、ROC-AUC

• 回归：MSE、MAE、R²

• 支持向量比例：越少越简洁，但过少可能欠拟合

6 常见问题

• 先尝试线性核（速度快、可解释性强）；

• 若训练误差高、非线性特征明显，则改用 RBF 核；

• 对特征交互明显的场景可用多项式核；

• Sigmoid 核一般仅在特定任务中尝试。

• 减少样本数或特征数；

• 先用 PCA 降维；

• 使用 LinearSVC 或 approximate kernel；

• 对大规模任务可切换到 LightGBM / XGBoost 等树模型。

• 设置 class_weight='balanced'；

• 或在数据层面进行重采样（SMOTE、欠采样）。

• 建议通过网格搜索或贝叶斯优化；

• log2 范围常用值：C ∈ [2⁻⁵, 2¹⁵], gamma ∈ [2⁻¹⁵, 2³];

• 先粗调再细化。

• 检查数据是否已标准化（尤其是 RBF 核对尺度敏感）；

• 调小 C 或 gamma；

• 若特征维度高可尝试 LinearSVC。

7 代码示例

在本地 Jupyter Notebook 环境中

多种核函数对比示例

在 AWS SageMaker 平台上（使用 SKLearn 容器）

主成分分析（PCA, Principal Component Analysis）

1 算法概述

2 应用场景

• 高维特征压缩（如图像、基因数据）

• 数据可视化（2D、3D 主成分空间）

• 特征去相关化，消除多重共线性

• 数据预处理（减少噪声、加速训练）

• 在机器学习中用作前置步骤（特别是SVM、线性回归等模型）

3 优缺点

• 简单高效，可快速实现降维

• 可消除特征间相关性，提高模型稳定性

• 可视化效果良好，帮助理解数据分布

• 无参数训练过程，鲁棒且解释性较高

• 仅捕捉线性关系，无法处理复杂非线性结构

• 对数据尺度敏感，必须标准化

• 主成分难以直接解释（物理含义不明确）

• 方差大的维度可能包含噪声，不一定是最有用的特征

4 主要超参数与工业调参经验

• 常用策略：先设 n_components=0.95，保留 95% 方差，再视情况调整。

• 数据必须先标准化（StandardScaler），否则高量纲特征将主导方差。

• whiten=True 在特征方差差距较大时有助于后续建模。

• 大规模数据推荐使用 randomized 求解器。

• 若特征数量远大于样本数，PCA 的压缩效果尤为明显。

5 可解释性与评价

• 每个主成分是原特征的线性组合，可查看 components_ 分析权重。

• explained_variance_ratio_ 表示每个主成分的方差占比。

• 累积方差可判断降维保真度（通常保留 ≥90%）。

• 累积方差贡献率（explained_variance_ratio_.cumsum()）

• 重构误差（重建数据与原数据的MSE）

• 可视化：散点图展示前两主成分的分布形态

6 常见问题

• 查看累计方差贡献率曲线，取能解释 90%~95% 方差的维数；

• 或通过模型性能（如交叉验证分数）判断最优维度。

• PCA 是特征变换（生成新特征），而非选择已有特征；

• 特征选择保留原语义，PCA 生成抽象成分；

• 两者可结合使用。

7 代码示例

在本地 Jupyter Notebook 环境中

在 AWS SageMaker 平台上（使用 SKLearn 容器）

t-SNE（t-Distributed Stochastic Neighbor Embedding）

1 算法概述

• 在高维空间中，用条件概率表示样本之间的相似度；

• 在低维空间中，用 t 分布重新表示样本距离；

• 通过最小化两种分布的差异（KL 散度），优化数据在低维空间的布局。

2 应用场景

• 高维数据可视化（如 2D、3D 降维）

• 验证聚类或分类模型的效果（类间是否分离清晰）

• 词向量、图像特征、嵌入向量的空间分析

• 异常点可视化检测

3 优缺点

• 能揭示数据的潜在结构（特别是局部聚类关系）

• 非线性映射效果优于 PCA

• 可视化直观，有助于人类解释复杂模型（如嵌入空间）

• 计算量大，O(n²) 复杂度，不适合大规模数据

• 参数敏感，不同 perplexity 或随机种子会导致完全不同的分布

• 不保留全局结构，无法反映真实距离

• 仅用于可视化，不适合下游建模

4 主要超参数与工业调参经验

• perplexity ≈ 样本数的 1%~2% 是常见经验法则；

• 小样本（<1000）取 perplexity=5~30，大样本（>5000）可取 50~100；

• 先用 PCA 降到 50 维再用 t-SNE，可显著提速且效果更稳；

• learning_rate 太低会形成“密团”，太高会导致点分布爆散；

• 对嵌入类任务（如 BERT、word2vec）推荐 metric='cosine'。

5 可解释性与评价

• t-SNE 图仅可用于定性分析：观察是否存在聚簇、边界或异常点。

• 点的相对距离无实际数值意义。

• 常结合类别标签进行上色分析分类可分性。

• 无定量指标；通常通过可视化质量判断（聚类清晰度、边界形态）

• 也可借助 Trustworthiness（sklearn 提供）定量评估局部结构保持程度。

6 常见问题

• t-SNE 初始化随机且非凸优化；

• 设置 random_state 固定结果；

• 或使用 PCA 初始化（init='pca'）提高稳定性。

• 降维前未标准化；

• perplexity 太小或 learning_rate 太低；

• 可先 PCA 降维并调大 learning_rate（200 左右）。

• 说明原数据本身类别不可分或噪声高；

• 可尝试调整 perplexity 或 metric；

• 也可结合监督信息改用 t-SNE + label smoothing 技巧。

• 使用 PCA 预降维；

• 减少样本数量（随机采样可代表性子集）；

• 尝试 Barnes-Hut 或 Multicore t-SNE 实现；

• 对百万级数据，可改用 UMAP 替代。

• 不建议。t-SNE 仅保留局部相似性，不保证聚类边界有意义；

• 若需聚类，可用 KMeans / HDBSCAN 作用在原特征或 PCA 特征上。

7 代码示例

在本地 Jupyter Notebook 环境中

在大规模数据上使用 Multicore t-SNE（加速版）

在 AWS SageMaker 平台上（使用 SKLearn 容器）

K-Means（K均值聚类）

1 算法概述

每个簇的中心由簇内所有样本的平均值（均值）构成，算法反复迭代“分配样本→更新中心”直到收敛。

1. 随机选择 ( K ) 个样本作为初始聚类中心；

2. 将每个样本分配到距离最近的中心；

3. 重新计算每个簇的均值作为新中心；

4. 重复 2-3 直到中心不再变化或达到最大迭代次数。

2 应用场景

• 用户或商品分群（用户画像、推荐系统）

• 图像压缩与颜色量化

• 文档聚类与主题初筛

• 异常检测（距离远离中心的样本）

• 数据预处理（预聚类特征分桶）

3 优缺点

• 算法简单、计算高效（O(nk) 每轮）

• 对大规模数据友好，可并行实现

• 聚类结果易解释，可视化直观

• 在样本分布相对均匀时效果很好

• 需提前指定簇数 ( K )

• 仅适合“凸形、球状”簇结构

• 对异常值和初始点敏感，可能陷入局部最优

• 对特征尺度敏感（必须标准化）

4 主要超参数与工业调参经验

• 聚类前务必标准化或归一化，否则高量纲特征主导距离计算。

• 确定 ( K ) 的常见方法：
• 肘部法（Elbow Method）：绘制 Inertia-K 曲线，拐点即为最佳 ( K )。
• 轮廓系数（Silhouette Score）：值越高聚类效果越好（0.5 以上通常较优）。

• 若聚类结果不稳定，可增大 n_init。

• 对异常值敏感，可先使用 DBSCAN 或 Isolation Forest 剔除离群点。

• 对大规模数据可使用 MiniBatchKMeans，性能提升显著。

5 可解释性与评价

• 每个簇的中心（cluster_centers_）代表该簇的平均特征向量；

• 可根据特征中心值为每个簇命名（如“高消费用户”）；

• 可使用 2D/3D 可视化（PCA+t-SNE）展示聚类效果。

• Inertia（簇内平方和）：越小越好，但不宜盲目追求；

• 轮廓系数（Silhouette Coefficient）：评估聚类分离度；

• CH 指数（Calinski-Harabasz）、DB 指数（Davies-Bouldin）：自动评估指标；

• 无监督任务下需人工结合业务语义判断结果合理性。

6 常见问题

• 使用 肘部法：画出 Inertia 随 K 增长的曲线，拐点位置即最优。

• 使用 轮廓系数：不同 K 值下比较平均 Silhouette Score。

• 或结合业务理解（如用户群划分预期数量）。

• 初始化随机导致；

• 使用 'k-means++' + 设置 random_state 固定。

• K-Means 假设簇大小相似；

• 对非球形或密度差异大的数据，改用 DBSCAN 或 GMM。

• 距离度量在高维空间失效（维度灾难）；

• 可先用 PCA 降维到 10~50 维再聚类。

• 异常点会显著偏移质心；

• 可预先剔除离群值或使用鲁棒版本 K-Medoids。

• 计算每个簇的均值向量并查看特征贡献；

• 可绘制特征雷达图、条形图辅助解释；

• 若结合业务标签，可评估簇内分布差异。

7 代码示例

在本地 Jupyter Notebook 环境中

使用 MiniBatchKMeans 处理大规模数据

在 AWS SageMaker 平台上（使用 SKLearn 容器）

K近邻算法（K-Nearest Neighbors, KNN）

1 算法概述

• “物以类聚”：样本在特征空间中与谁更接近，就更可能属于那一类。

• 分类时使用多数投票（多数邻居的类别为预测结果）；

• 回归时取邻居标签的平均值作为输出。

2 应用场景

• 分类任务：图像识别、文本分类、信用风险预测

• 回归任务：房价预测、消费行为预测

• 推荐系统：基于用户或物品的相似度计算

• 异常检测（邻域距离远离群体的点）

3 优缺点

• 算法原理简单、易于实现

• 无需假设数据分布（非参数方法）

• 训练阶段无模型拟合，快速便捷

• 支持多类别问题、能自然处理非线性边界

• 预测阶段计算代价高（需计算与所有样本的距离）

• 对特征尺度与噪声敏感

• 不适合高维数据（维度灾难）

• 需要存储全部训练样本，占用大量内存

4 主要超参数与工业调参经验

• K 值选择是关键：
• K 太小 → 对噪声敏感，过拟合；
• K 太大 → 平滑过度，欠拟合。
常用交叉验证确定最优 K。

• 特征必须标准化（StandardScaler / MinMaxScaler），否则高量纲特征主导距离计算。

• 对高维数据，可先用 PCA 降维或特征选择减少噪声。

• 样本量非常大时，可采用近似最近邻算法（如 FAISS、Annoy）。

• 分类任务推荐 weights='distance'，能缓解边界样本误判问题。

5 可解释性与评价

• 结果基于最近样本投票，可直接查看“哪些邻居”影响预测；

• 支持可视化邻域边界（2D特征空间中观察决策边界）；

• 对异常样本敏感，可用于直观异常点分析。

• 分类：Accuracy、Precision、Recall、F1、ROC-AUC

• 回归：MSE、MAE、R²

• 距离分布与邻域密度可作为模型行为诊断指标

6 常见问题

• 使用交叉验证网格搜索确定最佳 K；

• 一般取总样本数的 √N 为起点；

• 二分类问题优先选奇数 K 以避免平票。

• KNN 依赖距离度量，高维下距离趋于无意义；

• 可用 PCA / LDA 降维或使用基于模型的算法（如 SVM、RF）。

• 使用 BallTree 或 KDTree 加速；

• 或使用近似最近邻（FAISS、Annoy、HNSW）；

• 若预测批量大，可将邻居预计算缓存。

• 必须进行标准化（StandardScaler）或归一化（MinMaxScaler）；

• 否则大数值特征会主导距离计算。

• 使用加权距离（weights='distance'）；

• 或通过过采样/欠采样平衡样本。

• 可使用 KNeighborsRegressor；

• 输出为邻居标签的平均值或加权平均值。

7 代码示例

在本地 Jupyter Notebook 环境中（分类任务）

回归示例

在 AWS SageMaker 平台上（使用 SKLearn 容器）

朴素贝叶斯（Naive Bayes）

1 算法概述

P(y|x) ∝ P(y) × Π P(xᵢ|y)

其中：

• P(y)：先验概率，表示类别的总体分布；

• P(xᵢ|y)：条件概率，表示在类别 y 下特征 xᵢ 出现的可能性；

• 通过最大化后验概率 P(y|x)，确定样本所属类别。

2 应用场景

• 文本分类（垃圾邮件检测、情感分析）

• 文档主题判别、新闻分类

• 医疗诊断（基于症状的概率推断）

• 简单推荐系统、欺诈检测

3 优缺点

• 算法简单高效，训练与预测速度极快

• 对高维稀疏特征（文本）表现极好

• 结果可解释性强（概率输出）

• 需要的数据量较少，可作为强基线模型

• 特征独立假设通常不成立

• 无法建模特征间关联或非线性关系

• 概率估计偏粗糙（尤其在样本稀疏时）

• 连续特征需假设分布（常用高斯）

4 主要超参数与工业调参经验

• 文本任务首选 MultinomialNB；短文本、极度稀疏特征可考虑 BernoulliNB。

• 类别分布不平衡时，ComplementNB 效果优于传统模型。

• alpha 越大 → 平滑越强，模型越保守；过小 → 易过拟合罕见词。

• 输入需非负特征（词频或TF-IDF矩阵）。

5 可解释性与评价

• 每个类别下特征条件概率 P(xᵢ|y) 可视为该特征的“贡献度”；

• 可查看 feature_log_prob_ 了解各类别高权重特征；

• 输出 predict_proba() 提供明确的后验概率分布。

• 分类任务：Accuracy、Precision、Recall、F1、ROC-AUC

• 文本任务：宏平均 F1（macro-F1）更能反映类别不平衡影响

• 概率校准可通过 CalibratedClassifierCV 提升可靠性

6 常见问题

• 朴素贝叶斯对轻度依赖不敏感，仍能工作；

• 若依赖显著，可使用树模型（如RF）或逻辑回归替代；

• 也可考虑“半朴素”变体（如 TAN、AODE）。

• 使用 GaussianNB，假设特征服从高斯分布；

• 若特征不近似正态，可先离散化或标准化。

• Naive Bayes 倾向过度自信，可用 CalibratedClassifierCV 校准；

• 或直接使用概率排名指标（如 AUC）替代准确概率。

• 不需要。输入为计数矩阵或TF-IDF矩阵即可；

• 确保所有特征非负，否则 MultinomialNB 会报错。

• 使用稀疏矩阵输入（scipy.sparse）；

• sklearn 的 NB 实现对稀疏输入已有优化。

• 查看各类别下 top-n 的 feature_log_prob_ 值；

• 对应的高权重词即为该类别的代表特征。

7 代码示例

在本地 Jupyter Notebook 环境中（以文本分类为例）

连续特征示例（GaussianNB）

在 AWS SageMaker 平台上（使用 SKLearn 容器）

TF-IDF（Term Frequency–Inverse Document Frequency）

1 算法概述

• TF（词频） 衡量词在单篇文档中出现的频率；

• IDF（逆文档频率） 衡量词在整个语料中出现的普遍性。
一个词若在某篇文档中频繁出现（TF高），但在其他文档中很少出现（IDF高），则该词能很好地代表该文档的内容。

TF-IDF(w, d, D) = TF(w, d) × log( N / DF(w) )

其中：

• TF(w, d)：词 w 在文档 d 中出现的次数；

• DF(w)：包含词 w 的文档数；

• N：语料总文档数。

2 应用场景

• 文本分类、聚类的特征提取

• 搜索引擎检索排序（衡量关键词与文档的相关度）

• 推荐系统中的内容相似度计算

• 信息检索与自然语言处理的通用文本向量化方法

3 优缺点

• 简单高效，几乎是文本特征提取的工业标准

• 不依赖语义标注，直接基于词频统计

• 可与机器学习算法无缝结合（如 SVM、LR、NB）

• 对停用词、常用词自动降权

• 无法捕捉语义信息（同义词、上下文意义）

• 对词序与结构完全无感

• 长文档偏向高频词，可能失去句子级细节

• 对极短文本（如微博）鲁棒性较弱

4 主要超参数与工业调参经验

• 在英文任务中务必设置 stop_words='english' 或自定义停用词表。

• 对中文文本应先分词再计算 TF-IDF；可使用 jieba 或 pkuseg。

• 对长文档推荐使用 max_df=0.9, min_df=3 避免极端词。

• 若目标是分类，可设较高 max_features 降维；若目标是检索，相反应保留更多特征。

• 对短文本（如搜索 Query），TF-IDF 表现差时可尝试 BM25。

5 可解释性与评价

• TF-IDF 值越高的词越能代表文档内容；

• 可用 top-n 关键词展示文档语义概要；

• 与 LDA、NMF 等主题模型结合效果良好。

• 无监督任务：余弦相似度（Cosine Similarity）

• 分类任务：Accuracy、F1、ROC-AUC

• 可视化：词云或 PCA/TSNE 降维后的文档分布图

6 常见问题

• 文本预处理未标准化（如大小写、标点、分词）；

• 语料规模过小，IDF 不具代表性；

• 建议固定 vocabulary 以在训练与推理阶段保持一致。

• 必须先分词；

• 使用 jieba.cut() 预处理文本再传入 TfidfVectorizer；

• 注意停用词表与分词质量对结果影响巨大。

• (1,1)：信息密度高但上下文差；

• (1,2)：能捕捉词组，如“人工智能”；

• (1,3)：对短文本可用，但维度会急剧膨胀。

• 语料清洗（去重、去HTML、去停用词）；

• 使用 sublinear_tf=True 减少频率极值影响；

• 对不同领域可定制 IDF（如新闻、产品评论）。

7 代码示例

在本地 Jupyter Notebook 环境中

中文示例

在 AWS SageMaker 平台上（使用 SKLearn 容器）

LDA（Latent Dirichlet Allocation，潜在狄利克雷分配）

1 算法概述

• 每篇文档是若干主题的混合；

• 每个主题又由一组词语以不同概率构成。
算法通过反推“文档 → 主题 → 词”的生成过程，学习主题分布（哪些主题出现在哪些文档中）与词分布（哪些词代表哪些主题）。

2 应用场景

• 文本主题抽取与聚类（新闻、论文、评论、论坛）

• 搜索引擎文档索引、推荐系统内容分析

• 情感分析前的语义预处理

• 生成式文本建模（理解语义空间结构）

• 信息检索中作为潜在语义模型（LSI/LDA pipeline）

3 优缺点

• 能从非结构化文本中自动发现主题模式

• 无监督学习，无需标注语料

• 主题可解释性较强（每个主题是一组可阅读的词）

• 对噪声鲁棒，能捕捉语义层面的相似性

• 主题数需人工指定，过多或过少都会影响结果

• 对短文本表现较差（样本稀疏）

• 收敛慢，参数调优复杂

• 对词频分布的“长尾”现象不敏感，常需配合 TF-IDF 或预筛选

4 主要超参数与工业调参经验

• 主题数量 n_components 是调优重点：
• 过少 → 不同语义混杂；
• 过多 → 主题碎片化、难解释。
可结合 主题一致性指标 (topic coherence) 或人工审阅选取最优值。

• 对短文本（如微博、评论），建议先聚合或使用 biterm-LDA。

• 调整 α 与 β 影响主题分布形态：
• α 小（如 0.1）：每篇文档集中于少量主题；
• β 小（如 0.01）：每个主题集中于少数高频词。

• 文本预处理对效果影响巨大：
• 必须去除停用词、低频词；
• 词形还原（lemmatization）或分词精度直接决定主题质量。

5 可解释性与评价

• 每个主题是一组高概率词，可人工命名。

• 可绘制词云或主题-文档分布可视化（pyLDAvis）。

• 可观察单篇文档的主题比例，判断“文章主旋律”。

• 困惑度（Perplexity）：越低越好，代表模型拟合更精确。

• 一致性指标（Topic Coherence, Cv / UMass）：衡量主题可读性和聚合度。

• 主题分布熵：反映主题稀疏性。

6 常见问题

• 计算多个 n_components 下的困惑度或一致性得分；

• 可用 pyLDAvis 检查主题重叠度；

• 在可解释性与稳定性之间取平衡，一般 10~50 为宜。

• 算法初始化存在随机性；

• 固定 random_state 或多次取平均。

• 聚合相似短文本；

• 或改用 biterm-LDA / NMF / BERTopic 等改进模型。

• 增加停用词列表；

• 适当调小 β 让主题更稀疏；

• 或使用 TF-IDF 代替词频输入。

• 语料清洗不充分（停用词、噪声未去除）；

• 主题数设太多导致主题分裂；

• 可手动筛选前 10~20 个高概率词帮助命名主题。

7 代码示例

在本地 Jupyter Notebook 环境中（scikit-learn 版本）

在本地可视化（pyLDAvis）

在 AWS SageMaker 平台上（使用 SKLearn 容器）

隐马尔可夫模型（Hidden Markov Model, HMM）

1 算法概述

• 系统存在一系列隐藏状态（不可直接观测）；

• 每个时刻的可观测输出由当前隐藏状态决定；

• 状态之间的转移遵循马尔可夫性：当前状态只依赖于上一个状态。

1. 状态转移概率矩阵 A：状态之间的转移规律

2. 观测概率矩阵 B：每个状态生成观测值的概率

3. 初始状态概率向量 π：序列起始时各状态的分布

• 解码（Decoding）：给定观测序列，求最可能的状态序列（Viterbi算法）

• 学习（Training）：估计模型参数 A、B、π（Baum-Welch算法）

• 评估（Evaluation）：给定观测序列，计算其在模型下的概率（前向-后向算法）

2 应用场景

• 自然语言处理（词性标注、命名实体识别）

• 语音识别与语音合成

• 生物信息学（基因序列建模）

• 时间序列建模（如天气预测、行为识别）

• 用户行为预测（基于状态转移建模）

3 优缺点

• 能有效建模时间依赖性和隐含结构

• 理论成熟，解释性强

• 支持非监督学习（仅需观测序列）

• 参数训练可用 EM 算法收敛

• 状态数固定，难适应复杂动态系统

• 独立假设过强（当前观测只依赖于当前状态）

• 训练耗时（尤其是长序列）

• 对连续观测需假设概率分布（通常是高斯）

4 主要超参数与工业调参经验

• 状态数（n_components） 决定模型表达力，过多易过拟合，过少无法捕捉细节。

• 对连续观测（如语音MFCC），推荐 GaussianHMM；对离散观测（如词ID），使用 MultinomialHMM。

• 初始化权重影响大，若有先验可手动设定初始状态与转移矩阵。

• 训练过程中可监控对数似然（log-likelihood），确保单调递增。

• 长序列应分段训练或采样，以降低时间复杂度。

5 可解释性与评价

• 状态转移矩阵（A）可揭示系统动态规律；

• 发射概率矩阵（B）展示每个隐藏状态下可能的输出分布；

• 解码出的状态序列能直观展示隐含阶段变化（如语义、情感、行为阶段）。

• 对数似然（Log-Likelihood）：衡量模型对观测序列的拟合程度

• AIC / BIC：模型复杂度惩罚指标，用于选择最佳状态数

• 序列准确率：在有标签的场景下可评估预测状态准确率

6 常见问题

• 尝试不同 n_components 并用 AIC/BIC 比较；

• 若有业务知识（如行为阶段数、语音音素数），可人工设定。

• 使用部分序列采样；

• 降低 n_components 或观测维度；

• 使用对角协方差（covariance_type='diag'）。

• 多次随机初始化取最佳结果；

• 归一化输入特征；

• 检查是否存在零概率状态（需平滑处理）。

• 使用高斯混合HMM（GMMHMM）建模非高斯特征；

• 或对特征进行Box-Cox或标准化处理。

• 可以，通过转移矩阵 A 模拟状态转移；

• 或在观测部分补全缺失值后使用前向算法预测下一状态概率。

• 完全可以；HMM 通过EM算法自学习隐状态分布，无需显式标签。

7 代码示例

在本地 Jupyter Notebook 环境中（使用 hmmlearn）

离散观测（MultinomialHMM）

在 AWS SageMaker 平台上（使用 SKLearn 容器自定义训练脚本）

因子分解机（Factorization Machines, FM）

1 算法概述

• 对每个特征引入一个潜在向量，用其内积近似特征之间的交互效果。

• 这样一来，即便样本稀疏、很多特征组合从未出现，FM 仍能通过共享潜向量推断其交互效果。

2 应用场景

• 推荐系统（用户×物品交互）

• CTR/CVR 预估（广告点击率、转化率）

• 搜索排序与召回

• 结构化数据的二阶特征建模

• 特征组合稀疏、维度极高的任务（如 one-hot 编码）

3 优缺点

• 能高效建模任意特征对之间的二阶交互关系

• 计算复杂度为 O(nk)，比显式特征组合 O(n²) 快得多

• 对稀疏数据鲁棒性强

• 能在小样本上泛化良好

• 仅捕捉二阶特征交互（高阶需扩展模型）

• 参数调优复杂（尤其是潜向量维度 k）

• 不支持非线性关系（后续有 DeepFM 等改进）

• 对特征归一化和编码方式敏感

4 主要超参数与工业调参经验

• 潜向量维度 k 是核心：
• 小 k → 模型欠拟合，表达力不足；
• 大 k → 模型复杂，易过拟合。
建议交叉验证或AUC曲线调优。

• 特征工程关键：
• 所有输入需数值化（one-hot / embedding）；
• 稀疏矩阵格式（CSR）能显著加速训练。

• 特征归一化：特征尺度不一致会影响向量内积效果。

• 可用 FFM（Field-aware FM） 改进版本，对分组特征间交互建模更精准。

5 可解释性与评价

• 一阶权重 w_i 表示单特征贡献；

• 向量内积项 ⟨v_i, v_j⟩ 表示特征交互强度；

• 可用可视化（热图）展示特征间交互矩阵。

• 分类：AUC、LogLoss、Precision@K

• 回归：RMSE、MAE

• 推荐系统：Hit Rate、NDCG

6 常见问题

• 小规模数据 5~10 即可；大规模推荐系统取 20~50；

• 用验证集AUC或Loss调优；防止高维过拟合。

• 使用稀疏矩阵（scipy.sparse）；

• 可采用分布式实现（libFM / xLearn）；

• 调小 k 或 batch size。

• 增强正则化（对 v_i 单独加 L2）；

• 使用 early stopping；

• 减小 k 或 dropout 特征（在 DeepFM 结构中可用）。

• 是的；可使用 DeepFM、NFM、AFM 等深度扩展模型处理高阶非线性交互。

• 对稀疏特征（ID类）使用 one-hot；

• 对连续特征建议归一化后直接输入即可。

• LR 仅有一阶项 w_i x_i；

• FM 增加二阶交互项 ⟨v_i, v_j⟩ x_i x_j；

• 当 k=0 时，FM 退化为线性回归。

7 代码示例

在本地 Jupyter Notebook 环境中（使用 pyfm）

使用 xLearn（C++ 高性能版本）

在 AWS SageMaker 平台上（使用 SKLearn 容器 + pyFM）