发表于 | 更新于 | 分类于 ，
前面的介绍，我们遇到过两种类型的数据：表格数据和图像数据。 对于图像数据，我们设计了专门的卷积神经网络架构来为这类特殊的数据结构建模。我们在处理这俩各种类型时，这两类数据本身是无序的（顺序不会影响对数据的理解）。最重要的是，到目前为止我们默认数据都来自于某种分布，并且所有样本都是独立同分布的 （in ...
阅读全文 »

发表于 | 更新于 | 分类于 ，
多层感知机十分适合处理表格数据，其中行对应样本，列对应特征。 对于表格数据，我们寻找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与特征交互相关的先验结构。此时，多层感知机可能是最好的选择，然而对于高维感知数据，这种缺少结构的网络可能会变得不实用。例如，在之前猫狗分类的例子中：假设我们有一个 ...
阅读全文 »

发表于 | 更新于 | 分类于
官方资料ECOLE: Learning to call copy number variants on whole exome sequencing dataECOLE githubECOLE 是一款基于 深度学习 进行 全外显子测序(WES)数据中精确检测拷贝数变异(CNVs) 的方法。该方法是基 ...
阅读全文 »

发表于 | 更新于 | 分类于 ，
前文介绍了多层感知机，而多层感知机，其实是神经网络的一种特殊情况（只有一层隐藏层 & 全链接），而当我们引入多层隐藏层进行分析时，就是常说的深度学习，其中的深度，就是指的有多个隐藏层。整体框架结构上，深度学习和多层感知机并没有基础结构件的区别，但是就像我们代码为了提高代码的复用率一样，当我们 ...
阅读全文 »

发表于 | 更新于 | 分类于 ，
多层感知器(MLP)是一种前馈人工神经网络，它拥有输入层、隐藏层（至少1层）和输出层。如果隐藏层超过1个，则又称为深度人工神经网络。多层感知机（Multilayer Perceptron，MLP）是神经网络（Neural Network）的一种特殊类型。 MLP是一种前馈神经网络，它由至少三层节点 ...
阅读全文 »

发表于 | 更新于 | 分类于 ，
在大模型训练中，数据格式的选择对于计算资源的利用、内存占用和训练速度具有重要意义。合适的数据格式可以提高模型的性能，减少内存占用，并加速训练过程。数据类型在机器学习中被称为精度。IEEE 754-2008标准定义了浮点数算术的表示和操作，包括单精度（FP32） 和 双精度（FP64）浮点数、以及新增 ...
阅读全文 »

发表于 | 更新于 | 分类于 ，
激活函数我们引入神经网络，引入隐藏层，实际是为了解决线性模型不能解决的复杂问题，实现非线性变换。使得神经网络能够学习和逼近复杂的函数映射。而这里实现非线性变换，就是依靠激活函数来实现的，对特定的输入使用激活函数进行处理，形成隐藏层数据。激活函数接收神经元的加权输入和偏置之和作为输入，然后输出一个经过 ...
阅读全文 »

发表于 | 更新于 | 分类于 ，
参数性能的度量：损失函数和代价函数我们想要让模型自己基于数据进行训练学习，寻找最优的权重和偏置，以使得模型在训练数据上的表现达到最好的效果。有一个前提，就是我们首先须能够评估（量化）每个不同的权重或偏置的表现如何，因此为了评估不同参数对应的性能表现，我们引入了损失函数（对单个样本而言）、代价函数（对 ...
阅读全文 »