【原】ControlNet應(yīng)用-IP-Adapter：堪比Midjourney 墊圖，完美實(shí)現(xiàn)風(fēng)格遷移控制

AI繪畫先鋒 2024-11-15

展開全文

今天我們要分享的下Stable diffusion(SD)中的ControlNet風(fēng)格遷移類控制，IP-Adapter。IP-Adapter 是騰訊AI實(shí)驗(yàn)室研發(fā)的控制器，屬于 ControlNet 最強(qiáng)控制器前三之一。如果想?yún)⒄請(qǐng)D片的風(fēng)格，生成各種各樣類似效果的圖片，就可以用到 IP-Adapter

01 IP-Adapter簡介

IP-Adapter的中文翻譯是Image Prompt Adapter（圖像提示適配器），它是由騰訊開發(fā)的，并被ControlNet的作者移植到了ControlNet里：

它通過從圖像中提取特征，并將這些特征整合到預(yù)先訓(xùn)練好的文本到圖像的生成擴(kuò)散模型中，能夠?qū)崿F(xiàn)風(fēng)格轉(zhuǎn)換的效果。你可以將其視為一種圖像疊加技術(shù)，類似于在圖像生成流程中附加了一個(gè)LoRA模塊。正因如此，在ComfyUI平臺(tái)上，IP-Adapter plus插件的開發(fā)者形象地將其命名為“單張圖片LoRA”：即利用一張圖像實(shí)現(xiàn)的LoRA效果。

02 IP-Adapter模型分類

自IP-Adapter創(chuàng)建以來，隨著版本的持續(xù)迭代，已經(jīng)移除了三個(gè)不再使用的模型，并新增了兩個(gè)由社區(qū)開發(fā)者貢獻(xiàn)的模型。目前，在WebUI中，用戶可以訪問到總計(jì)19個(gè)可用的IP-Adapter模型，根據(jù)自己的需求進(jìn)行選擇性下載。根據(jù)你的SD模型版本選擇，ControlNet模型欄會(huì)自動(dòng)展示該版本下兼容且可用的IP-Adapter模型。

預(yù)處理器共有6個(gè)，通過觀察它們的名稱后綴，我們可以發(fā)現(xiàn)，盡管IP-Adapter擁有眾多模型，但它們大致可以劃分為三大類別：Clip、FaceID，以及最新加入的PulID。

通過模型的名稱后綴也可以看出該模型的對(duì)應(yīng)類別，比如除了名稱中有faceid和pulid的模型，其他模型均屬于clip類：

各種模型需要與其相對(duì)應(yīng)的預(yù)處理器相匹配，其中還有4個(gè)模型必須額外搭配特定的LoRA模型使用，這使得在實(shí)際使用過程中極易發(fā)生錯(cuò)誤：

由于頻繁出現(xiàn)預(yù)處理器和模型對(duì)應(yīng)選擇出錯(cuò)，新版本的IP-Adapter新增了一個(gè)ip-adapter-auto預(yù)處理器，這個(gè)預(yù)處理器也是默認(rèn)選擇的：

在我們?nèi)粘Ｊ褂肐P-Adapter時(shí)，只需簡單地將預(yù)處理器設(shè)置為默認(rèn)的“ip-adapter-auto”，接著選擇想要使用的模型，并點(diǎn)擊爆炸圖標(biāo)即可完成設(shè)置：

通過控制臺(tái)可以看到，系統(tǒng)會(huì)自動(dòng)根據(jù)所選模型切換至相應(yīng)的預(yù)處理器，從而避免了因手動(dòng)選擇不匹配導(dǎo)致的模型和預(yù)處理器之間的錯(cuò)誤情況。

具體每個(gè)模型對(duì)應(yīng)的預(yù)處理器：

03 IP-Adapter模型安裝及使用

Clip類模型安裝及使用

CLIP類SD1.5與SDXL一共有12個(gè)模型，其中，名稱中包含“face”的模型專門用于面部特征的遷移。其余模型則專注于對(duì)參考圖像的整體風(fēng)格進(jìn)行遷移。特別地，名為“composition”的模型由社區(qū)開發(fā)者打造，同樣適用于整體風(fēng)格的遷移：

WebUI模型下載鏈接： https:///lllyasviel/sd_control_collection/tree/main ComfyUI模型下載鏈接：

https:///h94/IP-Adapter/tree/main （網(wǎng)絡(luò)不太穩(wěn)定的文末會(huì)提供相關(guān)模型）

“IP-Adapter”不僅僅支持SD1.5模型還支持SDXL模型，通過以上的鏈接根據(jù)自己的需求下載對(duì)應(yīng)的模型即可。（SD1.5建議下載“ip_adapter_sd15_plus.pth”）

huggingface網(wǎng)站訪問需要科學(xué)上網(wǎng)，https:///是國內(nèi)對(duì)應(yīng)huggingface的網(wǎng)站，也可以在這里下載，下載地址：

https:///models?sort=trending&search=IP-Adapter

將預(yù)處理器clip_vision拷貝到 ./extensions/sd-webui-controlnet/annotator/downloads目錄下

下載的模型復(fù)制到sd-webui/extensions/sd-webui-controlnet/models的模型文件夾里：

Clip類中用于針對(duì)SD1.5以及參考圖整體風(fēng)格進(jìn)行遷移的模型有5個(gè)，我們具體看下這些模型的使用區(qū)別：

添加圖片注釋，不超過 140 字（可選）

通過測試對(duì)比可以看出：

1)ip-adapter_sd15_light_v11模型：

輕量模型，成功呈現(xiàn)出了紅色的頭發(fā)和墨鏡，人物的服裝也經(jīng)歷了一些變化，同時(shí)，男孩的形象也在一定程度上得到了體現(xiàn)。這個(gè)模型的ip-adapter強(qiáng)度最輕，受提示詞影響最強(qiáng)。

2)ip-adapter_sd15：

基礎(chǔ)模型，紅色頭發(fā)和墨鏡基本能體現(xiàn)出來，服裝也基本延續(xù)了參考圖。屬于強(qiáng)度適中。

3)、ip-adapter_sd15_plus：

基礎(chǔ)模型加強(qiáng)版，墨鏡沒有體現(xiàn)出來，整體畫面偏黑白。屬于強(qiáng)度最強(qiáng)的一款模型。

4)、ip-adapter_sd15_vit-G：

該基礎(chǔ)模型是利用大參數(shù)的CLIP-ViT-bigG進(jìn)行訓(xùn)練的，其性能強(qiáng)度與ip-adapter_sd15_plus相當(dāng)，但在畫面表現(xiàn)上更為細(xì)膩。

5)、ip-adapter_plus_composition_sd15：

正如其名稱所描述，這個(gè)社區(qū)模型僅對(duì)構(gòu)圖進(jìn)行了遷移，而且畫面中的人物全部被轉(zhuǎn)換為了男孩形象。

針對(duì)SDXL的整體風(fēng)格遷移模型有4個(gè)，在使用過程中如果出現(xiàn)面部崩壞可以適當(dāng)降低ControlNet權(quán)重，如果過擬合就適當(dāng)降低CFG值。以下是ControlNet權(quán)重0.8，CFG值4時(shí)的對(duì)比圖：

1)、ip-adapter_sdxl_vit-h：

SDXL的基礎(chǔ)模型，效果沒有SD1.5明顯，似乎識(shí)別到了紅色頭發(fā)和墨鏡.總體還算強(qiáng)度適中。

2)、ip-adapter-plus_sdxl_vit-h：

SDXL的加強(qiáng)版模型，由于降低了ControlNet權(quán)重，所以紅色頭發(fā)略微體現(xiàn)出來，IPA強(qiáng)度最強(qiáng)。

3)、ip-adapter_sdxl：

采用大參數(shù)CLIP-ViT-bigG訓(xùn)練的基礎(chǔ)模型，相較于使用小參數(shù)的ip-adapter_sdxl_vit-h基礎(chǔ)模型，對(duì)提示詞的響應(yīng)更為敏銳，能夠更清晰地展現(xiàn)出紅色頭發(fā)、墨鏡以及“1boy”的特征。

4)、ip-adapter_plus_composition_sdxl：

社區(qū)模型，只遷移構(gòu)圖。

Clip類針對(duì)SD1.5還有2個(gè)遷移面部特征的模型，使用它們時(shí)，我們盡量選擇面部占比比較大的參考圖進(jìn)行上傳。這里使用名人的照片：小羅伯特·唐尼進(jìn)行對(duì)比：

通過對(duì)比圖可以看到：

1)、ip-adapter-plus-face_sd15：

會(huì)具備參考圖的面部特征，但效果不太好，對(duì)提示詞不敏感。

2)、ip-adapter-full-face_sd15：

同樣具備面部特征，效果同樣不太好，甚至服裝也會(huì)遷移參考圖。

Clip類針對(duì)SDXL遷移面部特征的模型只有1個(gè)，通過對(duì)比圖可以看到：

ip-adapter-plus-face_sdxl_vit-h：能遷移面部特征，依然不太好，但能夠展現(xiàn)部分提示詞的內(nèi)容。

FaceID類模型安裝及使用

FaceID類主要是針對(duì)面部遷移，SD1.5加上SDXL總共有6個(gè)模型，其中有4個(gè)模型還有對(duì)應(yīng)的LoRA模型。安裝方法和Clip類模型基本類似，faceid需要使用對(duì)應(yīng)的Lora，Lora文件放在我們平時(shí)使用的lora文件夾就可以

若要使用ip-adapter_face_id_plus，您需要額外下載一個(gè)名為clip_h.pth的文件，并將其放置在指定的文件夾中，如圖所示。如果您之前已經(jīng)安裝過基于clip的ip-adapter，則可以跳過此步驟：

注意：FaceID類只提取面部特征，需要真實(shí)圖片，不能使用卡通圖片。使用時(shí)不用像Clip類的Face遷移模型一樣，專門找面部占比較大的參考圖：支持SD1.5的FaceID模型有三個(gè)。

ip-adapter-faceid_sd15模型需要配合相應(yīng)的LoRA模型使用，官方推薦該LoRA模型的權(quán)重設(shè)置在0.5至0.7之間。

以下是加入LoRA前后的對(duì)比圖示，該模型具備適中的性能，用戶能夠通過提示詞來調(diào)控對(duì)象的配飾、發(fā)色乃至面部表情：

ip-adapter-faceid-plusv2_sd15模型同樣需要與之匹配的LoRA。如果在應(yīng)用此模型時(shí)遇到面部扭曲的問題，您可以嘗試調(diào)低ControlNet的控制權(quán)重來優(yōu)化效果。

相較于基礎(chǔ)模型，Plus版模型在畫面表現(xiàn)上似乎更為精致，且其性能強(qiáng)度顯著提升，以至于能夠?qū)⒑诎渍掌纳侍卣饕策w移至生成圖像中。至于哪個(gè)版本更優(yōu)，這需由各位自行評(píng)判：

還有一款ip-adapter-faceid-portrait-v11_sd15肖像模型是不需要LoRA的。以下是三個(gè)模型的對(duì)比圖，大家自己看下效果圖：

SDXL的FaceID模型同樣也有三個(gè)，和SD1.5模型類似。在未添加額外提示詞的情況下，SDXL生成的圖像在年齡呈現(xiàn)上相較于SD1.5更為精確。

以下是ip-adapter-faceid_sdxl模型在添加LoRA前后的對(duì)比圖示：

當(dāng)你在使用ip-adapter-faceid-plusv2_sdxl和ip-adapter-faceid-portrait_sdxl模型出現(xiàn)過擬合的情況，可以嘗試將CFG值降低：

下面是SDXL的三款模型對(duì)比：

04 IP-Adapter特有參數(shù)

通過IP-adapter的風(fēng)格遷移功能，如今的ControlNet已經(jīng)實(shí)現(xiàn)了多圖上傳的支持，這一特性對(duì)于IP-adapter的應(yīng)用來說尤為方便。你可以上傳多張展現(xiàn)不同風(fēng)格的圖片來進(jìn)行風(fēng)格遷移，同樣地，你也可以上傳多張人物圖片來進(jìn)行面部特征的遷移。下面是上傳了5張小羅伯特·唐尼的照片：

下面是SD1.5各種面部遷移模型的單張參考圖和多張參考圖的生成效果對(duì)比。

添加圖片注釋，不超過 140 字（可選）

你是不是還發(fā)現(xiàn)在IP-Adapter控制下，沒有我們常見的均衡模式、提示詞更重要和ControlNet更重要這三個(gè)選項(xiàng)：

取而代之的是一個(gè)名為“權(quán)重類型”的參數(shù)，它提供了更高的可控性。我們可以看到，這里預(yù)設(shè)了非常多種類的選擇：

選定之后，下方會(huì)以柱狀圖的形式直觀地展示各權(quán)重的分配。用戶既可以直接選用預(yù)設(shè)的類型，也能夠根據(jù)個(gè)人需求手動(dòng)輸入數(shù)值，這一設(shè)計(jì)賦予了極高的靈活性：

這些預(yù)設(shè)大致可以分為三類：緩和類（ease）、弱類（weak）以及風(fēng)格遷移類（style transfer）。

緩和類下包含：normal線性、ease in緩入、ease out緩出、ease in-out緩入緩出以及reverse in-out反向緩入緩出。

緩和類的特點(diǎn)是其權(quán)重會(huì)呈現(xiàn)逐漸遞增或遞減的趨勢。這里需要注意的是，柱狀圖所代表的是IP-Adapter的權(quán)重，而緩入緩出的概念則是針對(duì)提示詞和模型權(quán)重的調(diào)節(jié)。

具體而言，normal線性對(duì)應(yīng)的是平衡模式，即提示詞與模型的權(quán)重相當(dāng)；ease in緩入則意味著ControlNet的權(quán)重更為突出；而ease out緩出則表明提示詞的權(quán)重更為關(guān)鍵：

以下是緩和類預(yù)設(shè)的對(duì)比展示。之前我們提到，在遇到面部扭曲的問題時(shí)，可以適當(dāng)調(diào)低ControlNet的權(quán)重，但過低的權(quán)重又可能導(dǎo)致面部遷移效果不佳。這時(shí)，我們就可以利用這些預(yù)設(shè)來進(jìn)行調(diào)整：

第二大類是弱類，它包括weak input（弱輸入）、weak output（弱輸出）、weak middle（弱中間）以及strong middle（強(qiáng)中間）。

弱類的特點(diǎn)是，在權(quán)重分配上，強(qiáng)與弱的部分具有相同的數(shù)值。需要特別注意的是，這里的柱狀圖所表達(dá)的含義與緩和類有所不同，它代表的是提示詞與模型各自的權(quán)重。下面是弱類預(yù)設(shè)的對(duì)比：

第三類為風(fēng)格遷移類，涵蓋了style transfer（風(fēng)格遷移）、composition（構(gòu)圖）、strong style transfer（強(qiáng)風(fēng)格遷移）、style and composition（風(fēng)格遷移與構(gòu)圖）以及strong style and composition（強(qiáng)風(fēng)格遷移與構(gòu)圖）。

通過調(diào)整不同板塊的權(quán)重，我們可以實(shí)現(xiàn)對(duì)不同內(nèi)容的控制，這種操作方式有點(diǎn)類似于LoRA的分層控制機(jī)制。而最終的強(qiáng)風(fēng)格遷移和構(gòu)圖效果，實(shí)際上呈現(xiàn)為線性關(guān)系。