5023.大模型-模型优化-微调进程可视化工具-Unsloth

SwanLab 是一个跟踪实验、可视化结果、发现新改进点等的在线平台。简而言之，SwanLab使你能够更快地构建更好的模型，并轻松与同事分享发现。

使用说明

这是一个已经集成到python 的可视化库，使用非常简单，通过pip安装 swanlab,然后通过key(SwanLab 注册后获取) 登录 swanlab 账号。

pip install swanlab

swanlab login

登录后，在代码中添加以下代码即可使用swanlab可视化工具。可以跟踪 系统指标 和 控制台日志。运行此示例代码，以查看新的运行在SwanLab中出现：

import swanlab
import random

# 初始化一个新的swanlab run类来跟踪这个脚本
swanlab.init(
  # 设置将记录此次运行的项目信息，会在web上显示项目名称，所以这需要时一个可以辨别的名称。
  project="my-awesome-project", 
  
  # 跟踪超参数和运行元数据，在页面都是可视的。
  config={
    "learning_rate": 0.02,
    "architecture": "CNN",
    "dataset": "CIFAR-100",
    "epochs": 10
  }
)

# 模拟训练
epochs = 10
offset = random.random() / 5
for epoch in range(2, epochs):
  acc = 1 - 2 ** -epoch - random.random() / epoch - offset
  loss = 2 ** -epoch + random.random() / epoch + offset

  # 向swanlab上传训练指标，这些指标会在网页端以折线图的形式展示出来。   
  swanlab.log({"acc": acc, "loss": loss})

# [可选] 完成训练，这在notebook环境中是必要的
swanlab.finish()

通过在我们的项目中插入代码，整个训练过程中的信息都会被记录下来，并在SwanLab中可视化。

包括config配置的内容， 每次迭代过程中通过 swanlab.log 存储的指标信息，同时swanlab还会自动的获取项目的仓库、版本、系统信息（cpu、内存、显卡、显存）等。

一个示例结果 exp_Aug22_15-13-31