LightGBM - 概述
LightGBM 是一种非常有效且快速的机器学习模型构建工具。它使用先进的方法来加速和扩大训练过程，例如高效的数据处理和使用逐叶生长策略的树的开发。因此，它是管理复杂模型和大型数据集的绝佳选择。
LightGBM 使用 GOSS(基于梯度的单侧采样)和 EFB(独占特征捆绑)等技术来减少内存使用量和训练时间。由于 GPU 加速和并行处理，它也比传统的增强方法快得多。
LightGBM 如何工作?
LightGBM 使用一种称为"逐叶"树生长的特定类型的决策树。与逐级生长的传统树不同，LightGBM 的树是通过生长最能减少错误的叶子来生长的。通常，这种策略的结果是更小、更精确的树。
主要特点
以下是 LightGBM 的一些常见特点 −
高效、快速:LightGBM 的架构非常快。由于它使用"基于直方图的算法"快速形成树，因此它比其他增强算法快得多。
减少内存使用− LightGBM 通过仅保留构建树所需的数据来减少内存使用。因此它适用于大型数据集。
支持大型数据集:LightGBM 能够处理大型数据集和高维或全特征数据，这使其成为大数据应用的理想选择。
准确性:LightGBM 以其高准确性而闻名。该模型在许多机器学习任务中通常表现非常出色，例如值预测和数据分类。
缺失数据处理:LightGBM 可以自动处理缺失数据，从而减少了进一步预处理步骤的需要。这是LightGBM的内置功能。</p>
LightGBM的优势
使用LightGBM的主要优势如下 −
更快的训练速度和更高的效率:Light GBM是一种基于直方图的技术，它将连续的特征值放入离散的箱中，从而加快训练阶段。
更低的内存消耗:将连续的值转换为离散的箱，从而减少内存使用量。
提高准确率:它使用逐叶分割策略而不是逐层方法生成更复杂的树，这是实现更高精度的主要因素。
与大型数据集的兼容性:它在处理大型数据集时同样表现出色，同时训练时间却大大减少比 XGBoost 节省时间。
LightGBM 的缺点
以下是使用 LightGBM 时应考虑的一些缺点 −
过度拟合:Light GBM 按叶子划分树，这可能会导致过度拟合，因为它会生成更复杂的树。
与数据集的兼容性:Light GBM 容易过度拟合，因此很容易过度拟合小数据集。
资源密集型:虽然效率很高，但训练非常大的模型仍然需要大量计算和内存。
数据敏感性:LightGBM 可能会受到所使用的数据预处理方法的影响，因此需要仔细的特征缩放和规范化。
何时使用 LightGBM
LightGBM 是最好的机器学习框架之一。以下是一些可以使用 LightGBM 的情况 −
大型数据集:LightGBM 在大数据上表现良好。
高维数据:当您拥有许多特征时。
快速训练:如果您需要快速训练模型。
LightGBM 的用例
以下是一些可以使用 LightGBM 的情况 −
预测房价
信用风险分析
- 客户行为预测
- 搜索引擎结果等排名问题
LightGBM 是许多机器学习的高效快速技术应用程序，特别是处理需要高精度的大型数据集时。它的速度和效率使其在各行各业中广受欢迎。
微软创建了LightGBM(Light Gradient Boosting Machine)，并于2017年正式作为开源项目发布。以下是其成长的简要历史。
LightGBM历史
以下是LightGBM历史的关键点−
微软研究院于2016年开发了LightGBM，作为其提供更快、更高效的机器学习工具的使命的一部分。
2017年1月，微软在GitHub上发布了LightGBM作为开源库。此举有助于其在数据科学界越来越受欢迎。此次升级包括对 Python、R 和 C++ 的支持，使其可以在各种编程环境中使用。
LightGBM 引入了重要的创新，例如用于更深、更准确的树的叶减法生长方法、通过选择关键数据点实现更快训练的 GOSS 以及通过组合很少使用的特征实现内存节省的 EFB。它还使用基于直方图的技术来加快训练速度并减少内存使用。
LightGBM 因其速度、准确性和效率而在 2017-2018 年被数据科学界广泛采用。它在各种数据科学竞赛中都很受欢迎，包括 Kaggle 上的竞赛，在这些竞赛中，它的表现一直优于竞争对手的 boosting 算法。
2018 年至 2020 年期间，LightGBM 开发人员增加了 GPU 加速支持，提高了其速度，使其成为大型数据集训练的首选。
LightGBM 对分类特征的改进处理、增加的文档和社区贡献都为其持续的竞争力和受欢迎程度做出了贡献。
从 2021 年到现在，LightGBM 一直在不断发展和维护，并定期更新以提高性能、引入新功能并确保与最新机器学习框架的兼容性。
