框架介绍.pytorch和tensorflow
Pytorch Vs TensorFlow 是接触机器学习和深度学习方向非常成熟和主流的框架，AI、ML和DL框架不仅仅是工具；它们是决定我们如何创建、实施和部署智能系统的基础构建块。这些框架配备了库和预构建的功能，使开发人员能够在不从头开始的情况下制定复杂的人工智能算法。它们简化了开发过程，确保了
...
大模型-部署工具-Ollama
ollama是一个旨在简化大型语言模型本地部署和运行过程的工具。它提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器上轻松构建和管理LLMs。通过ollama，开发者可以访问和运行一系列预构建的模型，或者导入和定制自己的模型，无需关注复杂的底层实现细节。官网：OllamaGitHub地址：Gi
...
开源模型介绍 - Llama
开源模型测评仓库CLiB中文大模型能力评测榜单-github
模型列表
模型
git仓库
模型特点
模型大小
运行资源
Llama 3
github
8B / 70B
Phi-3
huggingface
小巧可以运行在手机上
Qwen1.5-110B
huggin
...
大模型-优化部署模型
Distillation用一个teacher模型来训练一个student模型
Quantization将训练后的模型进行量化，降低数据的精度，从而降低模型的复杂度和对资源的需求。
Pruning模型剪枝，删除冗余模型，或去除模型中权重很低，贡献不大的节点，
Full model re-traini
...
模型优化 使用Lora方法优化Qwen2模型，实现NER性能提
参考
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778
...
大模型 - 微调方法 - PEFT
微调的方法分类参数规模从参数规模的角度，大模型的微调分成两条技术路线：
全量微调FFT(Full Fine Tuning)，是对全量的参数，进行全量的训练。用特定的数据，对大模型进行训练，将W 变成W’ ，W’相比W ，最大的优点就是上述特定数据领域的表现会好很多。主要问题：
一个是训练的成本会比
...
大模型 - 微调方法 - PEFT
微调的方法分类参数规模从参数规模的角度，大模型的微调分成两条技术路线：
全量微调FFT(Full Fine Tuning)，是对全量的参数，进行全量的训练。用特定的数据，对大模型进行训练，将W 变成W’ ，W’相比W ，最大的优点就是上述特定数据领域的表现会好很多。主要问题：
一个是训练的成本会比
...