概念-激活函数.pytorch实现
Non-linear Activations (weighted sum, nonlinearity)
激活函数
简介
图示
nn.ELU
Exponential Linear Unit (ELU) function, element-wise.
nn.Hardshrink
Hard
...
数据标准化-平方根转换
转换共识：$f(x)=\sqrt{x}$平方根变换可用于：
标准化偏态分布
将两个变量之间的非线性关系转换为线性关系
减少线性回归中残差的异方差
专注于可视化数据的某些部分对变量应用平方根变换时，高值会被压缩，低值会变得更加分散。log转换做同样的事情，但更积极。
pytorch-损失函数
torch.dtype最近进行一些代码实操的过程中，经常遇到一个报错，TypeError: tensor(): argument ‘dtype’ must be torch.dtype, not torch.tensortype，原因则是因为在dtype参数中错误的传递了torch.tensorty
...
pytorch-损失函数
Loss Function pytorch中常用的损失函数
损失函数
名称
适用场景
说明
torch.nn.MSELoss()
均方误差损失
回归
取预测值和真实值的绝对误差的平均数 $$ℓ(x,y) = {1 \over N} \sum_{n}^{N}|x_n−y_n|
...
机器学习-算法-集成学习
集成学习是指使用多种兼容的学习算法/模型来执行单个任务的技术，目的是为了得到更佳的预测表现。集成学习的主要方法可归类为三大类： 堆叠（Stacking）、提升（Boosting） 和 装袋（Bagging/bootstrapaggregating）。其中最流行的方法包括随机森林、
...
大模型-应用-加载数据
在我们进行大模型的训练或微调的过程中，第一步就是要准备自己的训练数据集并导入到代码中。而 datasets 是huggingface开发的一个数据集python库，可以很方便的从Hugging Face Hub里下载数据，也可很方便的从本地加载数据集，本文主要对load_dataset方法的使用进行
...
神经网络-Transformer
论文原文：Attention Is All You Need
Transformer之前我们比较了卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）。值得注意的是，自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此，使用自注意力来设计深度架构是很有吸引
...
Python-包-增效-pipreqs
我们都知道获取环境中的所有依赖包命令：
1pip freeze > ./requirements.txt
但是，如果我们仅仅想获取当前项目中的安装包，我们可以使用pipreqs工具安装：
1pip install pipreqs
在项目根目录下运行如下命令：
1pipreqs ./
执行完上述
...
神经网络-注意力机制
我们的视觉系统每时每刻都在接收大量的感官输入， 这些感官输入远远超过了大脑能够完全处理的程度。 然而，并非所有刺激的影响都是相等的。 意识的聚集和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体。 只关注一小部分信息的能力对进化更加有意义，使人类得以生存和成功。
注意力提示此刻读者正在
...
markdown-数学公式
发表于
|
更新于
|
分类于
生物信息
更多符合可以再 https://www.latexlive.com/## 查阅获取。
符号
代码
描述
$\vec{V}$
向量 V
$\overrightarrow{V}$
向右向量 V
$\overleftarrow{V}$
向左向量 V
$\sim$
$\sim$
...