一、minibatch的概念
在機(jī)器學(xué)習(xí)算法的訓(xùn)練過(guò)程中，大量的數(shù)據(jù)需要被處理和學(xué)習(xí)，而這些數(shù)據(jù)可能會(huì)非常大，如果一次性將全部數(shù)據(jù)送到計(jì)算系統(tǒng)中進(jìn)行計(jì)算，不僅計(jì)算時(shí)間長(zhǎng)，而且還會(huì)占用大量的存儲(chǔ)空間。為解決這個(gè)問(wèn)題，就引入了minibatch這個(gè)概念。
簡(jiǎn)言之，minibatch 就是一次訓(xùn)練中且分批次處理的訓(xùn)練數(shù)據(jù)集。每個(gè)批次包含了一定量的訓(xùn)練數(shù)據(jù)，同時(shí)一次訓(xùn)練中涉及的數(shù)據(jù)，就被分成若干個(gè)小批次進(jìn)行處理和學(xué)習(xí)。
二、minibatch的優(yōu)勢(shì)
1、降低內(nèi)存壓力。
import numpy as np
from sklearn.datasets import load_boston
from sklearn.utils import resample
data = load_boston()
X, y = data.data, data.target
# 隨機(jī)采樣得到256個(gè)樣本點(diǎn)
X_, y_ = resample(X, y, n_samples=256, replace=False)
# 讀取全部的數(shù)據(jù)集開(kāi)銷(xiāo)大
# X, y = data.data, data.target
由于計(jì)算機(jī)內(nèi)存的限制，如果使用梯度下降訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候，通常只能一次輸入一個(gè)小批次數(shù)據(jù)，而不能一次性地輸入所有數(shù)據(jù)。minibatch 可以通過(guò)分批次處理訓(xùn)練數(shù)據(jù)，解決內(nèi)存不足的問(wèn)題，同時(shí)提高了訓(xùn)練的效率。
2、有效提高計(jì)算速度。
當(dāng)數(shù)據(jù)增大時(shí)，迭代次數(shù)越多，訓(xùn)練越耗時(shí)。minibatch的應(yīng)用可以提高計(jì)算速度，提升訓(xùn)練效率。
三、minibatch的實(shí)現(xiàn)方式
1、手動(dòng)生成minibatch。
import numpy as np
def gen_minibatch(inputs, targets, batch_size):
'''
inputs和targets為輸入的數(shù)據(jù)和對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽
batch_size為每個(gè)batch的大小
'''
input_batches = inputs.reshape(-1, batch_size, inputs.shape[1])
target_batches = targets.reshape(-1, batch_size, targets.shape[1])
for i in range(len(input_batches)):
yield input_batches[i], target_batches[i]
# 輸入數(shù)據(jù)和標(biāo)記
X = np.random.rand(40, 4)
y = np.random.randint(0, 2, 40)
# 批大小
batch_size = 10
for minibatch in gen_minibatch(X, y, batch_size):
input_data, target_data = minibatch
# do something
手動(dòng)生成minibatch是一種非?；A(chǔ)的方式。該方式是根據(jù)batch_size將訓(xùn)練數(shù)據(jù)集手動(dòng)分割成小批次，然后將小批次輸入到深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。
2、使用深度學(xué)習(xí)框架進(jìn)行數(shù)據(jù)處理和訓(xùn)練。
import torch
from torch.utils.data import DataLoader, TensorDataset
# 定義數(shù)據(jù)集并轉(zhuǎn)化為 DataLoader
train_dataset = TensorDataset(torch.Tensor(X_train), torch.Tensor(y_train))
train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
# 訓(xùn)練模型
for i, (X_batch, y_batch) in enumerate(train_dataloader):
# do something with X_batch and y_batch
Pytorch是一個(gè)常用的深度學(xué)習(xí)框架，可以幫我們自動(dòng)生成數(shù)據(jù)批次，并且加速訓(xùn)練任務(wù)。在使用Pytorch進(jìn)行模型訓(xùn)練時(shí)，我們可以使用DataLoader類結(jié)合TensorDataset自動(dòng)生成minibatch。
四、minibatch的使用建議
1、合理設(shè)置批次大小。
我們通常需要根據(jù)計(jì)算機(jī)性能、模型復(fù)雜度、訓(xùn)練數(shù)據(jù)大小等因素來(lái)確定合適的batch_size參數(shù)。批次大小的不同，可能會(huì)影響模型性能，因此我們需要選擇適當(dāng)?shù)?batch_size。
2、打亂數(shù)據(jù)集。
在進(jìn)行訓(xùn)練之前，建議將訓(xùn)練數(shù)據(jù)集打亂，以減少訓(xùn)練誤差，提高模型的性能。同時(shí)還可以避免所選取的訓(xùn)練集的先后順序帶來(lái)的影響。
shuffled_X, shuffled_y = shuffle(X_train, y_train)
train_dataset = TensorDataset(torch.Tensor(shuffled_X), torch.Tensor(shuffled_y))
train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
小結(jié)
minibatch 是一種非常常用的深度學(xué)習(xí)訓(xùn)練技巧，它通過(guò)分批次進(jìn)行數(shù)據(jù)處理和訓(xùn)練，不僅可以降低內(nèi)存壓力，還可以提高計(jì)算速度。我們需要注意批次大小、打亂數(shù)據(jù)集等一些細(xì)節(jié)信息，才能在深度學(xué)習(xí)模型的訓(xùn)練過(guò)程中更好地應(yīng)用 minibatch 技術(shù)。
京公網(wǎng)安備 11010802030320號(hào)