【本站】7月17日消息，近日在全球邊緣計(jì)算大會(huì)上，網(wǎng)宿科技分享了他們對(duì)于大模型時(shí)代的思考和探索。作為領(lǐng)先的邊緣計(jì)算服務(wù)提供商，網(wǎng)宿科技表示大模型將成為未來的基礎(chǔ)設(shè)施，并認(rèn)為每個(gè)行業(yè)和企業(yè)都將擁有自己的大模型。他們強(qiáng)調(diào)如何將大模型有效地應(yīng)用于具體場(chǎng)景并提高生產(chǎn)力是業(yè)界共同需要探索的方向，也是網(wǎng)宿邊緣計(jì)算的機(jī)遇所在。

據(jù)本站了解，在大模型時(shí)代，邊緣計(jì)算有兩個(gè)關(guān)鍵場(chǎng)景可以發(fā)揮其價(jià)值，即微調(diào)訓(xùn)練和邊緣推理。當(dāng)前，大模型和人工智能圖形芯片正引領(lǐng)著全球科技的新浪潮。然而，從零開始訓(xùn)練模型的周期長、對(duì)GPU的需求大以及成本高等問題，使得大模型的使用范式主要為"預(yù)訓(xùn)練 + 微調(diào)訓(xùn)練 + 提示詞工程"，即基于預(yù)訓(xùn)練好的大模型進(jìn)行領(lǐng)域知識(shí)微調(diào)訓(xùn)練或使用提示詞工程，從而降低成本。

陳云輝指出，盡管這種模式可以加速人工智能圖形芯片的創(chuàng)新步伐，但大模型參數(shù)量巨大，對(duì)所有參數(shù)進(jìn)行微調(diào)的成本非常高。為解決這一問題，輕量微調(diào)訓(xùn)練方法如LoRA和QLoRa成為了有效的解決方案之一。網(wǎng)宿邊緣計(jì)算平臺(tái)可以支持這些輕量微調(diào)訓(xùn)練方法，從而大大降低大模型個(gè)性化和領(lǐng)域化的適配成本，促進(jìn)人工智能圖形芯片在垂直應(yīng)用場(chǎng)景的落地。

此外，隨著多模態(tài)人工智能的發(fā)展和人工智能圖形芯片在更多領(lǐng)域的應(yīng)用，人工智能圖形芯片生成的內(nèi)容將涵蓋圖片、語音和視頻，相對(duì)于訓(xùn)練而言，推理的成本將占據(jù)較高比例，對(duì)流量的需求也將不斷增加。伴隨著人工智能圖形芯片模型的領(lǐng)域化、小型化和輕量化技術(shù)的發(fā)展，對(duì)算力的要求也將持續(xù)降低。

陳云輝表示，因此，大模型的推理運(yùn)算可以從中心下沉到邊緣，實(shí)現(xiàn)更低的帶寬成本和更快的響應(yīng)速度。而網(wǎng)宿邊緣計(jì)算在邊緣側(cè)擁有得天獨(dú)厚的優(yōu)勢(shì)，可以有效地支持邊緣推理場(chǎng)景。

網(wǎng)宿邊緣計(jì)算作為領(lǐng)先的邊緣計(jì)算服務(wù)提供商，擁有顯著的資源協(xié)同優(yōu)勢(shì)。他們可以充分協(xié)同CDN業(yè)務(wù)在機(jī)房、算力、帶寬和調(diào)度等方面，借助全球2800個(gè)節(jié)點(diǎn)構(gòu)建的輕量化邊緣智能平臺(tái)，廣泛分布的節(jié)點(diǎn)資源以及豐富的平臺(tái)運(yùn)營經(jīng)驗(yàn)，可以在大模型場(chǎng)景中發(fā)揮重要作用。

基于以上優(yōu)勢(shì)，網(wǎng)宿科技正在探索面向大模型和人工智能圖形芯片時(shí)代的產(chǎn)品形態(tài)，并逐步落地實(shí)施。他們基于網(wǎng)宿邊緣智能平臺(tái)，針對(duì)大模型推理和訓(xùn)練等場(chǎng)景，構(gòu)建了邊緣CPU算力平臺(tái)、開源大模型訓(xùn)練部署平臺(tái)，并輸出垂直領(lǐng)域的解決方案，以適應(yīng)市場(chǎng)需求和技術(shù)發(fā)展，助力各行各業(yè)實(shí)現(xiàn)大模型的應(yīng)用。

網(wǎng)宿邊緣GPU算力平臺(tái)是基于網(wǎng)宿廣泛分布的節(jié)點(diǎn)資源，提供輕量化算力資源，并支持GPU虛擬化，滿足輕量人工智能任務(wù)場(chǎng)景的需求，例如人工智能推理、深度學(xué)習(xí)和圖形可視化等。

網(wǎng)宿開源大模型訓(xùn)練部署平臺(tái)基于開源預(yù)訓(xùn)練大模型，提供從模型微調(diào)訓(xùn)練、性能評(píng)估、部署監(jiān)控到輕量化推理等功能的端到端大模型服務(wù)平臺(tái)，能夠降低大模型應(yīng)用的成本，幫助客戶構(gòu)建專屬的大模型。

此外，網(wǎng)宿還提供針對(duì)不同垂直領(lǐng)域的解決方案，例如基于私有大模型的企業(yè)知識(shí)庫解決方案和針對(duì)電商領(lǐng)域的圖像生成解決方案，如AI模特等，以幫助垂直領(lǐng)域降低成本并提高效率。

陳云輝表示，以上三種產(chǎn)品形態(tài)分別對(duì)應(yīng)IaaS、PaaS和SaaS層，網(wǎng)宿科技希望打造全棧解決方案，降低人工智能圖形芯片的使用門檻。他們相信，隨著大模型和人工智能圖形芯片的廣泛應(yīng)用，網(wǎng)宿邊緣智能平臺(tái)將在更多領(lǐng)域展現(xiàn)其價(jià)值。

此次會(huì)議上，陳云輝還重點(diǎn)展示了網(wǎng)宿邊緣智能平臺(tái)在人工智能應(yīng)用場(chǎng)景中的實(shí)踐經(jīng)驗(yàn)。該平臺(tái)基于網(wǎng)宿豐富的節(jié)點(diǎn)管理和調(diào)度能力，針對(duì)邊緣計(jì)算場(chǎng)景提供了云邊一體化協(xié)同托管方案，可以一站式管理各類邊緣設(shè)備的應(yīng)用，并將云上應(yīng)用延伸到邊緣，滿足客戶對(duì)邊緣計(jì)算資源的遠(yuǎn)程管控、數(shù)據(jù)處理、分析決策和人工智能應(yīng)用等需求。目前，該平臺(tái)已成功服務(wù)于智能養(yǎng)殖、智能換電、智能勘測(cè)、智能安防等人工智能應(yīng)用場(chǎng)景，幫助客戶節(jié)約建設(shè)成本并提升運(yùn)營效率。