阿里云的人工智能平臺(tái)PAI，作為一站式的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)平臺(tái)，對(duì)Qwen2模型系列提供了全面的技術(shù)支持。無論是開發(fā)者還是企業(yè)客戶，都可以通過PAI-QuickStart輕松實(shí)現(xiàn)Qwen2系列模型的微調(diào)、評(píng)測(cè)和快速部署。

PAI-QuickStart 介紹

快速開始（PAI-QuickStart）是阿里云人工智能平臺(tái)PAI的產(chǎn)品組件，它集成了國內(nèi)外 AI 開源社區(qū)中優(yōu)質(zhì)的預(yù)訓(xùn)練模型，涵蓋了包括大語言模型，文本生成圖片、語音識(shí)別等各個(gè)領(lǐng)域。通過 PAI 對(duì)于這些模型的適配，用戶可以通過零代碼和 SDK 的方式實(shí)現(xiàn)從訓(xùn)練到部署再到推理的全過程，大大簡(jiǎn)化了模型的開發(fā)流程，為開發(fā)者和企業(yè)用戶帶來了更快、更高效、更便捷的 AI 開發(fā)和應(yīng)用體驗(yàn)。

運(yùn)行環(huán)境要求

•  本示例目前支持在阿里云北京、上海、深圳、杭州、烏蘭察布等多地域，使用PAI-QuickStart產(chǎn)品運(yùn)行。

•  資源配置要求：

○ Qwen2-0.5B/1.5B/7B量級(jí)模型：最低使用V100/P100/T4（16GB顯存）及以上卡型運(yùn)行訓(xùn)練任務(wù)；

○  Qwen1.5-72B量級(jí)模型：最低使用A100（80GB顯存）及以上卡型運(yùn)行訓(xùn)練任務(wù)。

通過PAI-QuickStart使用模型

開發(fā)者可以在 PAI 控制臺(tái)的“快速開始”入口，找到Qwen2系列模型，以Qwen2-7B-Instruct為例，模型卡片如下圖所示：

模型部署和調(diào)用

PAI 提供的Qwen2-7B-Instruct預(yù)置了模型的部署配置信息，用戶僅需提供推理服務(wù)的名稱以及部署配置使用的資源信息即可將模型部署到PAI-EAS推理服務(wù)平臺(tái)。當(dāng)前模型需要使用公共資源組進(jìn)行部署。

部署的推理服務(wù)支持使用ChatLLM WebUI進(jìn)行實(shí)時(shí)交互，示例如下：

推理服務(wù)支持以O(shè)penAI API兼容的方式調(diào)用，具體可見以下的Python SDK的示例。

模型微調(diào)訓(xùn)練

PAI 為Qwen2-7B-Instruct模型配置了微調(diào)算法，支持用戶以開箱即用得方式對(duì)Qwen2-7B-Instruct進(jìn)行微調(diào)。訓(xùn)練算法支持使用 Json 格式輸入，每條數(shù)據(jù)由問題、答案組成，分用“instruction”、“output”字段表示，例如：

當(dāng)完成數(shù)據(jù)的準(zhǔn)備，用戶可以將數(shù)據(jù)上傳到對(duì)象存儲(chǔ) OSS Bucket 中。算法需要使用V100/P00/T4（16GB顯存）的GPU資源，請(qǐng)確保選擇使用的資源配額內(nèi)有充足的計(jì)算資源。

訓(xùn)練算法支持的超參信息如下，用戶可以根據(jù)使用的數(shù)據(jù)，計(jì)算資源等調(diào)整超參，或是使用算法默認(rèn)配置的超參。

點(diǎn)擊“訓(xùn)練”按鈕，PAI-QuickStart 開始進(jìn)行訓(xùn)練，用戶可以查看訓(xùn)練任務(wù)狀態(tài)和訓(xùn)練日志。

如果需要將模型部署至PAI-EAS，可以在同一頁面的模型部署卡面選擇資源組，并且點(diǎn)擊“部署”按鈕實(shí)現(xiàn)一鍵部署。模型調(diào)用方式和上文直接部署模型的調(diào)用方式相同。

如果需要評(píng)測(cè)微調(diào)后模型的性能，可以從任務(wù)頁面右上角評(píng)測(cè)按鈕進(jìn)入評(píng)測(cè)頁。詳情見下一節(jié)：模型評(píng)測(cè)。

模型評(píng)測(cè)

PAI 為Qwen2-7B-Instruct模型配置了評(píng)測(cè)算法，支持用戶以開箱即用得方式對(duì)Qwen2-7B-Instruc以及微調(diào)后模型進(jìn)行評(píng)測(cè)。通過評(píng)測(cè)能幫助用戶和其他模型做性能對(duì)比，更能指導(dǎo)用戶進(jìn)行精準(zhǔn)地模型選擇和優(yōu)化。

模型評(píng)測(cè)入口：

從“快速開始”頁面完成Qwen2-7B-Instruct開源模型的評(píng)測(cè)

從訓(xùn)練任務(wù)詳情頁完成微調(diào)后模型的評(píng)測(cè)

模型評(píng)測(cè)支持自定義數(shù)據(jù)集評(píng)測(cè)和公開數(shù)據(jù)集評(píng)測(cè)：

•  自定義數(shù)據(jù)集評(píng)測(cè)

對(duì)于自定義數(shù)據(jù)集評(píng)測(cè)，我們使用NLP領(lǐng)域標(biāo)準(zhǔn)的文本匹配方式，計(jì)算模型輸出結(jié)果和真實(shí)結(jié)果的匹配度，值越大，模型越好。使用該評(píng)測(cè)方式，基于自己場(chǎng)景的獨(dú)特?cái)?shù)據(jù)，可以評(píng)測(cè)所選模型是否適合自己的場(chǎng)景。

評(píng)測(cè)需要提供JSONL格式的評(píng)測(cè)集文件，每條數(shù)據(jù)使用question標(biāo)識(shí)問題列，answer標(biāo)識(shí)答案列，例如：

符合格式要求的評(píng)測(cè)集，可自行上傳至OSS，并創(chuàng)建自定義數(shù)據(jù)集，詳情參見上傳OSS文件和創(chuàng)建及管理數(shù)據(jù)集。之后選擇評(píng)測(cè)結(jié)果輸出路徑，并根據(jù)系統(tǒng)推薦選擇相應(yīng)計(jì)算資源，最后提交評(píng)測(cè)任務(wù)。等待任務(wù)完成，在任務(wù)頁面查看評(píng)測(cè)結(jié)果（模型在ROUGE和BLEU系列指標(biāo)上的得分）：

•  公開數(shù)據(jù)集評(píng)測(cè)

在公開數(shù)據(jù)集評(píng)測(cè)中，我們通過對(duì)開源的評(píng)測(cè)數(shù)據(jù)集按領(lǐng)域分類，對(duì)大模型進(jìn)行綜合能力評(píng)估，例如數(shù)學(xué)能力、知識(shí)能力、推理能力等，值越大，模型越好。目前PAI維護(hù)了MMLU、TriviaQA、HellaSwag、GSM8K、C-eval、TruthfulQA，其他公開數(shù)據(jù)集陸續(xù)接入中。無需準(zhǔn)備數(shù)據(jù)，直接選擇PAI提供的公開數(shù)據(jù)集、評(píng)測(cè)結(jié)果輸出路徑、計(jì)算資源即可提交評(píng)測(cè)任務(wù)。等待任務(wù)完成，在任務(wù)頁面查看評(píng)測(cè)結(jié)果（模型在各個(gè)公開數(shù)據(jù)集的得分情況，其中每個(gè)公開數(shù)據(jù)集的評(píng)測(cè)范圍詳見數(shù)據(jù)集官方介紹）：

通過Python SDK使用

PAI 提供了Python SDK，支持開發(fā)者方便得使用Python在PAI完成模型的開發(fā)到上線的。通過PAI Python SDK，開發(fā)者可以輕松調(diào)用PAI-快速開始提供的模型，完成相應(yīng)模型的微調(diào)訓(xùn)練和部署。

部署推理服務(wù)的示例代碼如下：

微調(diào)訓(xùn)練的示例代碼如下：

通過快速開始的模型卡片詳情頁，用戶可以通過“在DSW打開”入口，獲取一個(gè)完整的Notebooks示例，了解如何通過PAI Python SDK使用的細(xì)節(jié)。

結(jié)論

Qwen2（通義千問2）的推出標(biāo)志著阿里云在開源大語言模型領(lǐng)域的最新進(jìn)展。這個(gè)系列推出了不同規(guī)模的開源模型，可廣泛用于多樣化的下游應(yīng)用場(chǎng)景。開發(fā)者可以借助PAI-QuickStart輕松地對(duì)Qwen2模型進(jìn)行定制和部署。此外，PAI QuickStart還匯集了一系列先進(jìn)的模型，覆蓋多個(gè)專業(yè)領(lǐng)域，歡迎廣大開發(fā)者們體驗(yàn)和應(yīng)用這些豐富的資源。

相關(guān)資源鏈接：

•  Qwen2介紹：

https://qwenlm.github.io/zh/blog/qwen2/

•  PAI 快速開始：

https://help.aliyun.com/zh/pai/user-guide/quick-start-overview

•  PAI Python SDK Github：

https://github.com/aliyun/pai-python-sdk