特征工程-时间周期处理
我们有一个带有日期类型列的 pandas 数据帧。利用这一列，我们可以创建以下特征：
年
年中的周
月
星期
周末
小时
还有更多
123456789101112# 添加'year'列，将 'datetime_column' 中的年份提取出来df.loc[:, 'year'] = df['dat
...
特征工程 数据预处理-分类变量处理
发表于
|
分类于
machine_learning
往往我们需要进行训练时，读取的特征是多种多样的，数值类型的变量可能只是其中的一部分（比如年龄），但是还会有一些其他类型的分类变量（比如性别，比如月份）。而我们这里讨论的分类变量/特征是指任何特征类型，可分为两大类：
无序变量: 是指有两个或两个以上类别的变量，这些类别没有任何相关顺序。例如，如果将
...
1020.性能评估-
发表于
|
分类于
Tobeinsert
针对分类
准确率（Accuracy）准确率：这是机器学习中最直接的指标之一。它定义了模型的准确度。如果你建立的模型能准确分类100条数据中的90条数据，那么你的准确率就是 90% 或 0.90。评估的就是预测结果和真实结果的一致性。
1234567891011121314151617# 从头实现d
...
1010.数据分组-交叉验证
发表于
|
分类于
machine_learning
交叉检验是构建机器学习模型过程中的一个步骤，它可以帮助我们确保模型准确拟合数据，同时确保我们不会过拟合。起始随着深度学习的兴起，我们可以想想一下，只要我们的特征足够多，那么任何问题我们都可以在训练集达到 100% 的性能。甚至最极端的方法，我们的分析方法甚至于完全可以采用枚举的方法（当然这是不对的）
...
特征工程-数据标准化-sklearn
发表于
|
分类于
machine_learning
数据标准化sklearn 数据标准化StandardScalerStandardScaler 通过去除均值并缩放至单位方差来标准化特征。数据粗粒逻辑为 $x_{fit} = (x_{row}-mean(x))/std(x)$12345from sklearn.preprocessing import
...
数据预处理-特征降维
发表于
|
分类于
machine_learning
随着数据爆炸，针对一个项目，我们可以获得许多测量结果，但其中只有一部分对于决策任务有用。尽管机器学习算法（MLA）可以处理大数据，但其性能会随着维度的增加而下降。当属性数量增加时，观察数量也会成比例增加，结果学习模型变得更加复杂。对许多特征进行训练的模型变得强烈依赖于数据，因此导致对未见过的数据的过
...
数据预处理-特征降维 - PCA
发表于
|
分类于
machine_learning
主成分分析，PCA (Principal Component Analysis)主成分分析（PCA）是一种降维方法，通常用于降低大型数据集的维度，通过将大型变量集转换为仍包含大型变量集中大部分信息的较小变量。减少数据集的变量数量自然会以牺牲准确性为代价，但降维的技巧是牺牲一点准确性来换取简单性。因为
...
数据预处理-特征降维
发表于
|
分类于
machine_learning
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结，并讨论在在PCA降维算法中是如何运用运用S
...
0003.机器学习和人工智能相关学习资料
发表于
|
分类于
machine_learning
《解决几乎所有机器学习问题》是一个打 kaggle 比赛的大佬整理的相关笔记，Approaching (Almost) Any Machine Learning Problem.pdf中文译本在线阅读中文译本 github 仓库
VSCode中使用 markdown 的快捷键
Cell命令模式目前支持的Jupyter Notebook快捷
快捷键
响应
Enter
转入编辑模式
Shift-Enter
运行本单元，选中或插入（最后一个Cell的时候）下个单元
Ctrl-Enter
运行本单元
Alt-Enter
运行本单元，在其下插入新单元
Y
...