参数性能的度量：损失函数和代价函数我们想要让模型自己基于数据进行训练学习，寻找最优的权重和偏置，以使得模型在训练数据上的表现达到最好的效果。有一个前提，就是我们首先须能够评估（量化）每个不同的权重或偏置的表现如何，因此为了评估不同参数对应的性能表现，我们引入了损失函数（对单个样本而言）、代价函数（对 ...

方向 Transformer CNN GNN 迁移学习 多模态 自然语言处理 框架 TensorFlow 2 PyTorch 2 Caffe MXNet Theano 开发环境 isaac mujoco Hadoop 2 Spark ODPS

Pytorch Vs TensorFlow 是接触机器学习和深度学习方向非常成熟和主流的框架，AI、ML和DL框架不仅仅是工具；它们是决定我们如何创建、实施和部署智能系统的基础构建块。这些框架配备了库和预构建的功能，使开发人员能够在不从头开始的情况下制定复杂的人工智能算法。它们简化了开发过程，确保了 ...

思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富 ...

ollama是一个旨在简化大型语言模型本地部署和运行过程的工具。它提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器上轻松构建和管理LLMs。通过ollama，开发者可以访问和运行一系列预构建的模型，或者导入和定制自己的模型，无需关注复杂的底层实现细节。 官网：Ollama GitHub地址： ...

开源模型测评仓库CLiB中文大模型能力评测榜单-github 模型列表 模型 git仓库 模型特点 模型大小 运行资源 Llama 3 github 8B / 70B Phi-3 huggingface 小巧可以运行在手机上 Qwen1.5-110B huggingfac ...

开源模型测评仓库CLiB中文大模型能力评测榜单-github 模型列表 模型 git仓库 模型特点 模型大小 运行资源 Llama 3 github 8B / 70B Phi-3 huggingface 小巧可以运行在手机上 Qwen1.5-110B huggingfac ...

Distillation用一个teacher模型来训练一个student模型 Quantization将训练后的模型进行量化，降低数据的精度，从而降低模型的复杂度和对资源的需求。 Pruning模型剪枝，删除冗余模型，或去除模型中权重很低，贡献不大的节点， Full model re-traini ...

一些评估模型的指标传统的机器学习中，我们可以通过已知输出的训练集和验证数据集的性能表现来评估模型的性能表现，通过计算获得简单的指标，比如使用 准确性（=correct predictions/total predictions）来计算模型的性能表现。但是对于输出不确定的大预言模型，评估语言的性能表现 ...

微调的方法分类参数规模从参数规模的角度，大模型的微调分成两条技术路线： 全量微调FFT(Full Fine Tuning)，是对全量的参数，进行全量的训练。用特定的数据，对大模型进行训练，将W 变成W’ ，W’相比W ，最大的优点就是上述特定数据领域的表现会好很多。主要问题： 一个是训练的成本会比 ...