背景信息
本文為您介紹以下兩種視頻生成的方式：
DSW是為算法開發(fā)者量身打造的一站式AI開發(fā)平臺，集成了JupyterLab、WebIDE、Terminal多種云端開發(fā)環(huán)境，其中，Gallery提供了豐富的案例和解決方案，幫助您快速熟悉研發(fā)流程。您可以打開DSW Gallery中的案例教程，實(shí)現(xiàn)一鍵式運(yùn)行Notebook，完成基于EasyAnimate的視頻生成模型的推理和訓(xùn)練任務(wù)，也可以進(jìn)行模型推理和微調(diào)等二次開發(fā)操作。
快速開始集成了眾多AI開源社區(qū)中優(yōu)質(zhì)的預(yù)訓(xùn)練模型，并且基于開源模型支持零代碼實(shí)現(xiàn)從訓(xùn)練到部署再到推理的全部過程，您可以通過快速開始一鍵部署EasyAnimate模型并生成視頻，享受更快、更高效、更便捷的AI應(yīng)用體驗(yàn)。
費(fèi)用說明
如果您的賬號為DSW或EAS的新用戶，可以免費(fèi)試用相應(yīng)產(chǎn)品。關(guān)于免費(fèi)試用的額度、領(lǐng)取方式及注意事項(xiàng)等詳細(xì)信息，請參見新用戶免費(fèi)試用。
說明：在本教程中，僅支持使用DSW免費(fèi)資源類型ecs.gn7i-c8g1.2xlarge。
如果您的賬號非新用戶，使用DSW和EAS會產(chǎn)生相應(yīng)費(fèi)用。更多計(jì)費(fèi)詳情，請參見交互式建模（DSW）計(jì)費(fèi)說明、模型在線服務(wù)（EAS）計(jì)費(fèi)說明、快速開始（QuickStart）計(jì)費(fèi)說明。
前提條件
• 創(chuàng)建PAI工作空間。具體操作，請參見開通PAI并創(chuàng)建默認(rèn)工作空間。
• （可選）開通OSS或NAS。具體操作，請參見開始使用OSS、NAS入門概述。
方式一：使用DSW
步驟一：創(chuàng)建DSW實(shí)例
1. 進(jìn)入DSW頁面。
a. 登錄PAI控制臺。
b. 在概覽頁面選擇目標(biāo)地域。
c. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁面中單擊目標(biāo)工作空間名稱，進(jìn)入對應(yīng)工作空間內(nèi)。
d. 在工作空間頁面的左側(cè)導(dǎo)航欄選擇模型開發(fā)與訓(xùn)練>交互式建模（DSW），進(jìn)入DSW頁面。
2. 單擊創(chuàng)建實(shí)例。
3. 在配置實(shí)例向?qū)ы撁?，配置以下關(guān)鍵參數(shù)，其他參數(shù)保持默認(rèn)即可。
4. 單擊確定。
步驟二：安裝EasyAnimate模型
1. 打開DSW實(shí)例。
a. 登錄PAI控制臺。
b. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁面中單擊目標(biāo)工作空間，進(jìn)入對應(yīng)工作空間。
c. 在頁面左上方，選擇使用服務(wù)的地域。
d. 在左側(cè)導(dǎo)航欄，選擇模型開發(fā)與訓(xùn)練>交互式建模（DSW）。
e. 單擊目標(biāo)DSW實(shí)例操作列下的打開，進(jìn)入DSW實(shí)例的開發(fā)環(huán)境。
2. 在Notebook頁簽的Launcher頁面，單擊快速開始區(qū)域Tool下的DSW Gallery，打開DSW Gallery頁面。
3. 在DSW Gallery頁面中，搜索EasyPhoto: 基于EasyAnimate的AI視頻生成示例，單擊在DSW中打開，即可自動將本教程所需的資源和教程文件下載至DSW實(shí)例中，并在下載完成后自動打開教程文件。
4. 下載EasyAnimate相關(guān)代碼和模型并進(jìn)行安裝。
在教程文件easyanimate.ipynb中，單擊開始按鈕運(yùn)行環(huán)境安裝節(jié)點(diǎn)命令，包括定義函數(shù)、下載代碼和下載模型。當(dāng)成功運(yùn)行一個(gè)步驟命令后，再順次運(yùn)行下個(gè)步驟的命令。
步驟三：推理模型
方式一：使用代碼進(jìn)行推理
單擊開始按鈕運(yùn)行模型推理>使用代碼進(jìn)行推理節(jié)點(diǎn)的命令進(jìn)行模型推理。您可在/mnt/workspace/demos/easyanimate/EasyAnimate/samples/easyanimate-videos目錄中查看生成結(jié)果。
您可以修改不同的參數(shù)來達(dá)到不同的效果，參數(shù)說明：
方式二：使用WebUI進(jìn)行推理
1. 單擊開始按運(yùn)行模型推理>UI啟動節(jié)點(diǎn)的命令，進(jìn)行模型推理。
2. 單擊生成的鏈接，進(jìn)入WebUI界面。
3. 在WebUI界面選擇預(yù)訓(xùn)練的模型路徑、微調(diào)后的基模型和LoRA模型，設(shè)置LoRA權(quán)重，其它參數(shù)按需配置即可。
4. 單擊Generate（生成），等待一段時(shí)間后，即可在右側(cè)查看或下載生成的視頻。
步驟四：微調(diào)LoRA
EasyAnimate提供了豐富的模型訓(xùn)練方式，包括DiT模型的訓(xùn)練（LoRA微調(diào)和基模型的全量微調(diào)）和VAE的訓(xùn)練。關(guān)于Gallery中內(nèi)置的LoRA微調(diào)部分，更多信息，請參見EasyAnimate。
準(zhǔn)備數(shù)據(jù)
單擊開始按鈕執(zhí)行模型訓(xùn)練>數(shù)據(jù)準(zhǔn)備節(jié)點(diǎn)的命令，即可下載示例數(shù)據(jù)，用于模型訓(xùn)練。您也可以按照如下格式要求自行準(zhǔn)備數(shù)據(jù)文件。
文件數(shù)據(jù)格式如下。
其中，JSON文件數(shù)據(jù)格式和參數(shù)說明如下。
訓(xùn)練模型
1. 將對應(yīng)的訓(xùn)練腳本中的DATASET_NAME及DATASET_meta_NAME設(shè)置為訓(xùn)練數(shù)據(jù)所在目錄及訓(xùn)練文件地址。
2. 單擊開始按鈕執(zhí)行啟動訓(xùn)練>LoRA訓(xùn)練節(jié)點(diǎn)的命令。
3. 訓(xùn)練完成后，將生成的模型移動至models/Personalized_model文件夾，即可在UI界面中選擇，或單擊開始按鈕執(zhí)行LoRA模型推理節(jié)點(diǎn)的命令，指定lora_path進(jìn)行視頻生成。
方式二：使用快速開始
步驟一：部署模型
1. 進(jìn)入快速開始頁面。
a. 登錄PAI控制臺。
b. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁面單擊目標(biāo)工作空間名稱，進(jìn)入對應(yīng)工作空間內(nèi)。
c. 在左側(cè)導(dǎo)航欄單擊快速開始，進(jìn)入快速開始頁面。
2. 在快速開始頁面，搜索EasyAnimate 高清長視頻生成，然后單擊部署，配置相關(guān)參數(shù)。
EasyAnimate目前僅支持使用bf16進(jìn)行推理，請選擇A10及其以上的顯卡。
3. 單擊部署，在彈出的計(jì)費(fèi)提醒對話框中，單擊確定，頁面將自動跳轉(zhuǎn)到服務(wù)詳情頁面。
當(dāng)狀態(tài)變?yōu)?strong style="overflow-wrap: break-word;">運(yùn)行中時(shí)，即表示模型部署成功。
步驟二：使用模型
模型部署完成后，您可以使用WebUI及API兩種方式調(diào)用服務(wù)來生成視頻。
WebUI方式
1. 在服務(wù)詳情頁面，單擊查看WEB應(yīng)用。
2. 在WebUI界面選擇預(yù)訓(xùn)練的模型路徑，其它參數(shù)按需配置即可。
3. 單擊Generate（生成），等待一段時(shí)間后，即可在右側(cè)查看或下載生成的視頻。
API方式
1.在服務(wù)詳情頁面的資源詳情區(qū)域，單擊查看調(diào)用信息，獲取調(diào)用服務(wù)所需的信息。
2. 通過接口更新Transformer模型，可在DSW實(shí)例或本地Python環(huán)境中執(zhí)行。
如果已經(jīng)在WebUI中選擇模型，則無需發(fā)送請求重復(fù)調(diào)用。如遇請求超時(shí)，請?jiān)贓AS日志中確認(rèn)模型已加載完畢。加載完成，日志中將提示Update diffusion transformer done。
Python請求示例如下。
其中：
3. 調(diào)用服務(wù)，生成視頻或圖片。
• 服務(wù)輸入?yún)?shù)說明
• Python請求示例
服務(wù)返回base64_encoding，為base64結(jié)果。
您可以在/mnt/workspace/demos/easyanimate/目錄中查看生成結(jié)果。
其中：
粵公網(wǎng)安備 44030702001206號