Hướng dẫn theo dõi huấn luyện mô hình ML: tích hợp fastai + neptune.ai

Bảng mục lục

1. Giới thiệu
2. Cài đặt các phụ thuộc
3. Tạo neptune run
4. Tải dữ liệu
5. Sử dụng Neptune Callback để ghi nhật ký dữ liệu
6. Tạo learner
7. Huấn luyện mô hình
8. Phân tích dữ liệu trong Neptune
9. Ghi nhật ký và tải lên trọng số mô hình
10. Ghi nhật ký và tải lên hình ảnh

Giới thiệu

Trong bài viết này, chúng ta sẽ tìm hiểu về tích hợp Neptune Fast AI, một công cụ hữu ích để ghi nhật ký và phân tích dữ liệu trong quá trình huấn luyện mô hình. Chúng ta sẽ khám phá cách sử dụng Neptune Callback để ghi lại siêu tham số, mất mát và kiến trúc mô hình. Chúng ta cũng sẽ tìm hiểu cách tải lên trọng số mô hình và hình ảnh vào Neptune để dễ dàng quản lý và chia sẻ dữ liệu.

Cài đặt các phụ thuộc

Trước khi bắt đầu, chúng ta cần cài đặt một số phụ thuộc cần thiết:

!pip install neptune-client
!pip install neptune-contrib[fastai]

Tạo neptune run

Bước quan trọng đầu tiên là tạo một Neptune run để chúng ta có thể ghi nhật ký dữ liệu vào. Để làm điều này, chúng ta cần tạo một project trên Neptune và nhận một token API. Sau đó, chúng ta có thể tạo Neptune run bằng cách chạy các dòng code sau:

import neptune.new as neptune

# Tạo Neptune run với project name và API token
run = neptune.init(project='project_name', api_token='YOUR_API_TOKEN')

Tải dữ liệu

Sau khi đã tạo Neptune run, chúng ta có thể tải dữ liệu cho việc huấn luyện mô hình. Trong ví dụ này, chúng ta sẽ sử dụng bộ dữ liệu mnist tiny, chỉ chứa các chữ số ba và bảy. Chúng ta có thể tải dữ liệu và tạo image loader như sau:

from fastai.vision.all import *

# Tải dữ liệu mnist tiny
path = untar_data(URLs.MNIST_TINY)

# Tạo image loader
dls = ImageDataLoaders.from_folder(path)

Sử dụng Neptune Callback để ghi nhật ký dữ liệu

Bước tiếp theo là sử dụng Neptune Callback để ghi nhật ký các thông tin quan trọng như siêu tham số, mất mát và kiến trúc mô hình. Điều này giúp chúng ta theo dõi và phân tích hiệu suất của mô hình trong quá trình huấn luyện. Chúng ta có thể thêm Neptune Callback vào danh sách callbacks như sau:

from neptunecontrib.monitoring.fastai import NeptuneCallback

# Thêm Neptune Callback vào danh sách callbacks
callbacks = [NeptuneCallback(run=run, base_namespace='exp')]

# Tạo learner với Neptune Callback
learn = cnn_learner(dls, resnet18, metrics=accuracy, cbs=callbacks)

Tạo learner

Tiếp theo, chúng ta cần tạo learner để huấn luyện mô hình. Trong ví dụ này, chúng ta sẽ sử dụng mô hình resnet18. Chúng ta có thể tạo learner như sau:

learn = cnn_learner(dls, resnet18, metrics=accuracy)

Huấn luyện mô hình

Sau khi đã tạo learner, chúng ta có thể huấn luyện mô hình. Chúng ta sẽ chạy mô hình trong 5 epochs đầu tiên, sau đó chạy thêm 2 epochs nữa. Chúng ta có thể huấn luyện mô hình bằng cách chạy các dòng code sau:

# Huấn luyện mô hình trong 5 epochs đầu tiên
learn.fine_tune(5)

# Huấn luyện mô hình thêm 2 epochs
learn.fine_tune(2)

Phân tích dữ liệu trong Neptune

Sau khi huấn luyện, chúng ta có thể truy cập vào giao diện Neptune để phân tích dữ liệu. Chúng ta có thể xem siêu tham số, mất mát và kiến trúc mô hình trong phần Configuration. Chúng ta có thể xem thông tin về learning rate và Momentum trong phần Optimizers. Chúng ta cũng có thể xem thông tin về độ chính xác và mất mát trên tập validation trong phần Metrics.

Ghi nhật ký và tải lên trọng số mô hình

Chúng ta cũng có thể ghi nhật ký và tải lên trọng số mô hình vào Neptune để dễ dàng quản lý và chia sẻ dữ liệu. Chúng ta có thể làm điều này bằng cách thêm Neptune Callback và SaveModelCallback vào danh sách callbacks. Sau đó, chúng ta có thể chọn cách tải lên trọng số mô hình (tất cả các trọng số hoặc chỉ trọng số cuối cùng):

from neptunecontrib.monitoring.fastai import NeptuneMonitor

# Thêm Neptune Callback và SaveModelCallback vào danh sách callbacks
callbacks = [NeptuneCallback(run=run, base_namespace='exp'), SaveModelCallback()]

# Tạo learner với Neptune Callback và SaveModelCallback
learn = cnn_learner(dls, resnet18, metrics=accuracy, cbs=callbacks)

Sau đó, chúng ta có thể huấn luyện mô hình và tự động tải lên trọng số mô hình vào Neptune:

# Huấn luyện mô hình và tự động tải lên trọng số mô hình vào Neptune
learn.fine_tune(5)

# Huấn luyện mô hình thêm 2 epochs và tự động tải lên trọng số mô hình vào Neptune
learn.fine_tune(2)

Ghi nhật ký và tải lên hình ảnh

Ngoài việc ghi nhật ký trọng số mô hình, chúng ta cũng có thể ghi nhật ký và tải lên hình ảnh vào Neptune. Điều này giúp chúng ta có thể xem trực quan các hình ảnh trong quá trình huấn luyện. Chúng ta có thể làm điều này bằng cách chuyển đổi tensor image thành torch tensor và sử dụng Neptune như sau:

import torchvision.transforms as T

# Chuyển đổi tensor image thành torch tensor
tensor_image = T.ToTensor()(image)

# Ghi nhật ký hình ảnh vào Neptune
run['images/original_image'].upload(neptune.types.File.as_image(tensor_image))

Sau khi chạy các dòng code trên, chúng ta có thể truy cập giao diện Neptune để xem hình ảnh đã được tải lên và phân tích chúng.

Kết luận

Trong bài viết này, chúng ta đã tìm hiểu về cách tích hợp Neptune Fast AI để ghi nhật ký và phân tích dữ liệu trong quá trình huấn luyện mô hình. Chúng ta đã tìm hiểu cách sử dụng Neptune Callback để ghi nhật ký các thông tin quan trọng. Chúng ta cũng đã tìm hiểu cách tải lên trọng số mô hình và hình ảnh vào Neptune để dễ dàng quản lý và chia sẻ dữ liệu. Hy vọng bài viết này đã giúp bạn hiểu rõ hơn về công cụ Neptune và cách sử dụng nó trong quá trình phát triển mô hình AI của bạn.

Các ưu điểm và nhược điểm

Ưu điểm

• Thiết lập dễ dàng và sử dụng trực quan
• Ghi nhật ký và phân tích dữ liệu trong quá trình huấn luyện
• Tự động lưu trữ trọng số mô hình và hình ảnh trong Neptune
• Dễ dàng quản lý và chia sẻ dữ liệu huấn luyện

Nhược điểm

• Cần phải cài đặt và cấu hình các phụ thuộc liên quan

FAQ

Q: Làm thế nào để tạo một project trên Neptune? A: Bạn có thể tạo một project trên Neptune bằng cách truy cập vào trang web Neptune và đăng ký tài khoản. Sau đó, bạn có thể tạo một project mới và nhận API token để sử dụng trong quá trình tích hợp Neptune.

Q: Có thể sử dụng Neptune với các mô hình machine learning khác không? A: Có, Neptune có thể tích hợp với các mô hình machine learning khác nhau, không chỉ giới hạn trong việc sử dụng Fast AI.

Q: Làm thế nào để truy cập và chia sẻ dữ liệu trên Neptune? A: Bạn có thể truy cập và chia sẻ dữ liệu trên Neptune bằng cách sử dụng giao diện trực quan của nó. Bạn có thể xem thông tin chi tiết về siêu tham số, mất mát, kiến trúc mô hình và các hình ảnh đã tải lên Neptune. Bạn cũng có thể chia sẻ dữ liệu này với đồng nghiệp bằng cách chia sẻ liên kết đến Neptune run của mình.

Tài liệu tham khảo

• Neptune.ai
• Fast AI

——— Note: This content is generated by AI assistant, please check for any errors or inaccuracies.