最新更新時間：2023/8/10

名詞解釋

lora

lora是大模型的路標，是字典的書簽。AI將提示詞對應的底模特征與訓練集中的特征進行對比，將兩者的差異進行對比并將差異儲存，這就是lora。

AI在訓練集學習時，先識別訓練集中特征，并將此特征與最符合的提示詞進行綁定。所以當提示詞中沒有合適的對象時，則綁定到了觸發詞中。

當AI識別的特征過于復雜時，難以識別其屬于哪種提示詞，也無法精確地綁定到對應地提示詞，并污染solo等高度概括詞。這種情況在鬼怪類由為嚴重，需要專門裁切來強化訓練，否則即便將復雜特征都賦予到觸發詞上，也會過擬合無法使用。

(資料圖片僅供參考)

在使用lora時，AI會優先從lora中查詢提示詞對應的特征。

底模

含義：訓練lora時使用的大模型。

底模與訓練lora的畫風越貼近，在訓練時，更容易將特征進行匹配并記錄差異。許多新的大模型都是基于最初的大模型，將各種提示詞對應的特征進行了優化，使之能出圖更加符合美感。但是這意味著這些特征已經是被改造過的，如果魔化嚴重，在此底模訓練出的lora在其他大模型上就難以使用，效果不佳。所以訓練時，也推薦直接使用進行lora訓練。

loss率

含義：訓練模型與實際樣本之間的偏差值，存在局部最優以及全局最優，

不同作者作者：

1、loss降低保證了更多的細節得到學習，訓練圖片特征融合率更高（畫風、劃痕、光影、色彩、材質）

2、不同的圖片數量和特征差異所對應的最優化的loss出現在不同訓練步數區間

3、好的loss率至少應該在以下，不同優化器的最佳loss不同

4、實踐上，同類對比下loss越低lora的效果越好，當loss在后半段的波動越穩定，效果越好。

學習率

含義：尋找最優模型時的訓練跨度，學習率的數值影響全局最優的尋找路徑

泛化

含義：模型在訓練集以外的數據上的擬合程度。

在使用其他提示詞和特征時，lora的特征仍能正確地被還原和使用。

梯度下降

含義：指導AI學習策略

擬合

過擬合：只會盲目照搬訓練集里的圖，而不總結規律

過擬合特征：

Tag 失效，無法調用

畫面物體/人物出現詭異細節

畫面線條變粗

欠擬合：還原度太差，與訓練集不相像

擬合成功：lora的目標對象能成功還原出訓練集中的特征

收斂

研究函數的重要工具，指學習結果會聚于一點，向某一值靠近

魯棒性

在異常和危險情況下系統生存的能力，面對各種異常情況時仍能保持相對穩定的性能。

即模型的穩定性、堅韌性。

表現：

在不同的大模型下都能有不錯的發揮。

還原性

含義：與訓練圖集特征的相似度

LyCORIS

特征：在畫風結合效果上更好

官方：/KohakuBlueleaf/

正則化

含義：先驗知識，在AI訓練lora前提前認知元素之間的相對位置。

作用1：提高lora的泛化能力，在煉制功能性和畫風lora中必不可少。在物品lora中，使AI認知物品的位置關系。

作用2：給某一提示詞提供不同的特征，從而降低此提示詞的權重，提高lora的泛化性，和突出目標特征的還原性

官方網址：/kohya-ss/sd-scripts/blob/main/docs/train_

不同作者建議：

1、數量推薦：訓練集（10~30）；正則訓練集（80~100），至少大于等于訓練集數量。訓練次數：6_ 訓練集,1_ 正則訓練集。

2、不用打標和預處理

3、不適用角色lora

4、用于數據增強：在人型lora訓練集中放入風格和姿態各異的無臉果圖來假裝角色對象的裸體形象，從而泛化其畫風和動作，適用于訓練集數量過少的情況。（對此方法的還原性存疑，以及訓練步數參數未知）

先驗知識

先驗知識是指在進行學習、推理或決策之前已經具備的關于特定領域的知識和概念。

在機器學習中，先驗知識可以用來指導模型的學習過程，幫助模型更快、更準確地進行訓練和推理。

先驗知識可以幫助我們從大量的信息中篩選出重要的內容，減少冗余和無關信息的干擾

打標類型與對比

提示詞分類：

喚起（觸發詞、高度概括詞1girl、solo）

人物特征（發型、發色、眼睛顏色、臉型）

衣服（上中下）

配件（服飾配件武器）

姿勢（表情）

背景（特效視角表達形式）

負面詞

打全標：中庸

不刪除任何詞（包括重復的詞匯，僅刪除錯誤詞）

刪特征：還原與泛化不錯

人物特征詞被刪除

僅喚起：過擬合

人物特征詞被刪除，衣服保留高度概括詞（shoes、uniform?）

不同打標方法效果對比

判斷邏輯：只有需要的特征得到充分還原便是好，不需要的特征越充分還原就越不受控。

過擬合：僅喚起

泛化性（換裝能力）：正則化>全標=刪特征>?僅喚起

過擬合風險（崩壞概率）：僅喚起>?刪特征>全標>正則化

學習速度：全標=僅喚起=刪特征>?正則化

還原性：訓練時間減少的正則對象還原性變差

易調用性： 僅喚起 > 刪特征 > 全標>?正則化

結論

1、當需要發表lora給予他人使用時，選擇刪特征+正則

2、當不需要換裝自用時，選擇打全標

3、當需要降低特征污染、提高還原性時，要增加訓練時間

4、當需要增強泛化能力時，則增加正則化訓練，提高正則化權重

聲明：很多內容都是從不同作者的教學視頻和文章中摘抄并加之個人總結來的，涉及之多很難再一一找到出處，只能在此為所有教學奉獻的老師致以感謝。