VSCode中使用 markdown 的快捷键
快捷键
响应
Ctrl + k + s
查看与更改键盘快捷方式
Ctrl + b
加粗 加粗
Ctrl + m
放大 放 大 放大 放大
Ctrl + g
跳转到?行
Ctrl + h
查找与替换
Ctrl + j
调出电脑 cmd 控制终端
Ctrl + l
...
归一化层(Normalization Layers)
发表于
|
分类于
neural_network
Normalization 层主要解决的问题是希望输入数据能大致分布在相同的空间内，从而让训练更好更快的收敛。 最先提出的 Batch normalization 层对于深度网络的收敛起到了很大的促进作用，于是后续又有多种normalization层提出，这里总结下normlization的相关知识
...
概念-激活函数.pytorch实现
发表于
|
分类于
neural_network
Non-linear Activations (weighted sum, nonlinearity)
激活函数
简介
图示
nn.ELU
Exponential Linear Unit (ELU) function, element-wise.
nn.Hardshrink
Har
...
数据标准化-平方根转换
发表于
|
分类于
统计知识
转换共识：
$f(x)=\sqrt{x}$
平方根变换可用于：
标准化偏态分布
将两个变量之间的非线性关系转换为线性关系
减少线性回归中残差的异方差
专注于可视化数据的某些部分
对变量应用平方根变换时，高值会被压缩，低值会变得更加分散。log转换做同样的事情，但更积极。
pytorch-损失函数
发表于
|
分类于
pytorch
torch.dtype最近进行一些代码实操的过程中，经常遇到一个报错，TypeError: tensor(): argument ‘dtype’ must be torch.dtype, not torch.tensortype，原因则是因为在dtype参数中错误的传递了torch.tensorty
...
机器学习-算法-集成学习
发表于
|
分类于
机器学习
集成学习是指使用多种兼容的学习算法/模型来执行单个任务的技术，目的是为了得到更佳的预测表现。集成学习的主要方法可归类为三大类： 堆叠（Stacking）、提升（Boosting） 和 装袋（Bagging/bootstrapaggregating）。其中最流行的方法包括随机森林、梯度提升、AdaBo
...
大模型-应用-加载数据
发表于
|
分类于
LLM
在我们进行大模型的训练或微调的过程中，第一步就是要准备自己的训练数据集并导入到代码中。而 datasets 是huggingface开发的一个数据集python库，可以很方便的从Hugging Face Hub里下载数据，也可很方便的从本地加载数据集，本文主要对load_dataset方法的使用进行
...
2105.神经网络-Transformer
发表于
|
分类于
neural_network
论文原文：Attention Is All You Need
Transformer之前我们比较了卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）。值得注意的是，自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此，使用自注意力来设计深度架构是很有吸引
...
Python-包-增效-pipreqs
发表于
|
分类于
Tobeinsert
我们都知道获取环境中的所有依赖包命令：1pip freeze > ./requirements.txt
但是，如果我们仅仅想获取当前项目中的安装包，我们可以使用pipreqs工具安装：1pip install pipreqs
在项目根目录下运行如下命令：1pipreqs ./
执行完上述命令后
...