“走紅”近兩年后，大模型正在加速走進(jìn)千行萬業(yè)。

由于大模型的主要模態(tài)是文字和圖片，恰好是數(shù)字化辦公最基礎(chǔ)的內(nèi)容要素，辦公于是成了離AI最近的場景。

公文寫作、表格生成、提煉大綱、文本翻譯、代碼潤色、數(shù)據(jù)統(tǒng)計、智能問答……越來越多的應(yīng)用正在辦公場景落地，曾經(jīng)需要幾個小時才能處理的工作，現(xiàn)在被壓縮到了分鐘級乃至秒級。

特別是進(jìn)入2024年后，大模型tokens窗口擴張使得百萬字的無損上下文輸入成為現(xiàn)實，衍生出了閱讀論文、搜索網(wǎng)頁，在海量資料中進(jìn)行信息整理和分析的新應(yīng)用場景。AI智能不斷涌現(xiàn)，要么加入AI，要么被AI淘汰，成了“打工人”茶余飯后的談資。

不過，要把AI接入辦公場景，也存在一定問題：面對效率和安全，企業(yè)該何選擇的問題？

不少企業(yè)多年經(jīng)營，留存下了大量的數(shù)字資產(chǎn)，涉及內(nèi)部知識、技術(shù)文檔、經(jīng)驗分享、財務(wù)數(shù)據(jù)、業(yè)務(wù)訂單等等，可以說是一家企業(yè)“核心競爭力”的源泉。AI存在一定安全風(fēng)險，一旦泄密，對于企業(yè)來說，無疑是“自毀長城”。

既要保障數(shù)字資產(chǎn)的安全，也想用AI激發(fā)出新動能。比較主流的做法是本地化部署，即將大模型部署到本地服務(wù)器上，在數(shù)據(jù)不外漏的前提下，用大模型盤活數(shù)字資產(chǎn)，向智能技術(shù)要效益，向私有部署要安全。

理想很豐滿，現(xiàn)實卻很骨感。大模型走進(jìn)企業(yè)，需要一系列軟硬件支持。擺在企業(yè)面前的就是安全、性能和成本的“不可能三角”：在算力成本高企的背景下，數(shù)據(jù)安全常常對應(yīng)著海量的成本投入；不想在硬件上投入太大，性能不可避免大打折扣。

面對辦公AI的“攔路虎”，釘釘和昇騰給出了新的解法：日前舉辦的HC2024昇騰產(chǎn)業(yè)峰會上，聯(lián)合發(fā)布了“釘釘專屬AI一體機解決方案，通過軟硬件的深度協(xié)同，加速企業(yè)智能助理落地。

01 本地化部署的“三重門”

之所以會出現(xiàn)“不可能三角”，根源在于AI在辦公場景落地時普遍出現(xiàn)的三類痛點：

一是數(shù)據(jù)安全疑慮。

隨著越來越多的業(yè)務(wù)走向數(shù)字化，企業(yè)數(shù)據(jù)在終端、應(yīng)用云端、數(shù)據(jù)中心間流轉(zhuǎn)，鏈路非常復(fù)雜，導(dǎo)致數(shù)據(jù)要素的流通風(fēng)險激增。再加上大模型的“黑箱”問題，數(shù)據(jù)一旦投喂給大模型就無法“撤回”。

早在2023年4月，三星就曝出了數(shù)據(jù)泄露事件。半導(dǎo)體部門的工程師使用ChatGPT修復(fù)源代碼問題，導(dǎo)致內(nèi)部會議記錄等數(shù)據(jù)以提問的方式上傳到了ChatGPT的訓(xùn)練數(shù)據(jù)庫。美國數(shù)據(jù)安全公司Cyberhaven曾統(tǒng)計160萬員工使用AI的情況，發(fā)現(xiàn)3.1%的“打工人”曾直接將公司內(nèi)部數(shù)據(jù)喂給ChatGPT分析。

所以很多企業(yè)對數(shù)字資產(chǎn)智能化的策略是：內(nèi)網(wǎng)部署、進(jìn)行物理層隔離，從模型、數(shù)據(jù)、應(yīng)用等全方位保障企業(yè)數(shù)據(jù)內(nèi)容安全。

二是成本和不確定性。

本地化部署的代價也很明顯，涉及算力、運維、模型微調(diào)等一系列流程，并且存在極大的不確定性。

以算力基礎(chǔ)設(shè)施為例，需要解決CPU、GPU、內(nèi)存、網(wǎng)絡(luò)等一連串挑戰(zhàn)，單單是基本的硬件投入，就需要數(shù)十萬以上的預(yù)算。如果要實現(xiàn)長文本閱讀等高算力場景，意味著百萬級、千萬級的算力成本。

大模型的微調(diào)和部署，同樣是成本開支的大頭。2023年大模型剛走紅時，模型定制開發(fā)的價碼一度達(dá)到上千萬，即使是行業(yè)回歸了理性，也需要上百萬的費用。另一個不應(yīng)該被忽略的是，市面上的主流大模型往往保持著按月更新的節(jié)奏，不斷有新的能力被挖掘，每一次版本更新后都需要重新適配。

三是缺乏落地經(jīng)驗。

擁抱AI是戰(zhàn)略層面上的，落地應(yīng)用則是戰(zhàn)術(shù)層的。在戰(zhàn)略上做出正確選擇很重要，但戰(zhàn)術(shù)上的挑戰(zhàn)一點都不少。因為大模型的落地應(yīng)用是一個不斷試錯的過程，存在時間周期長、落地成本高的特征。

目前的技術(shù)距離通用人工智能還有不小的距離，大模型的能力可以應(yīng)用到哪些業(yè)務(wù)場景中，需要一個個去嘗試，再根據(jù)業(yè)務(wù)場景的實際表現(xiàn)進(jìn)行調(diào)整測試。何況還存在“懂不懂行”的爭論，開發(fā)者不懂一線員工的需求，一線員工不懂AI，無形中產(chǎn)生了種種內(nèi)耗，制約著AI的落地進(jìn)程。

辦公AI的落地不單單是一個技術(shù)問題，也是一個工程問題，智能化的能力和行業(yè)應(yīng)用經(jīng)驗一個都不能少。

以上種種問題，既是行業(yè)內(nèi)普遍存在的現(xiàn)象，也是釘釘和昇騰合作的出發(fā)點。雙方聯(lián)合給出的解題思路正是“釘釘專屬AI一體機”，在昇騰Atlas 800I A2推理服務(wù)器的使能下，能提供從算力、模型、數(shù)據(jù)庫到Agent應(yīng)用開發(fā)和場景部署的一站式一體化落地解決方案，讓AI的落地企業(yè)，不再是復(fù)雜的系統(tǒng)工程，而是開箱即用的服務(wù)。

02 “1+1＞2”的協(xié)同效應(yīng)

面對希望快速落地大模型應(yīng)用、數(shù)據(jù)安全敏感度高、擔(dān)心成本大的企業(yè)訴求，釘釘和昇騰能否給出最優(yōu)解？

在回答這個問題前，不妨先了解下釘釘?shù)腁I探索。

截至2023年，已經(jīng)有2500萬組織、7億用戶使用釘釘。隱藏在數(shù)字背后的，恰恰是釘釘在辦公領(lǐng)域的全場景布局，涵蓋協(xié)作、溝通、知識等高頻場景，不僅意味著釘釘對企業(yè)辦公場景需求和痛點的深刻洞察，也讓釘釘拿到了AI時代的“入場券”，探索大模型在辦公領(lǐng)域的應(yīng)用前景。

可以找到的動作有很多。譬如2024年初的新品發(fā)布會上，釘釘把焦點留給了AI Agent，用戶只需要簡單配置，即可實現(xiàn)智能問答、圖像生成、內(nèi)容創(chuàng)作、數(shù)據(jù)統(tǒng)計等能力。

過去的大半年時間里，以釘釘為底座的AI產(chǎn)品和方案不斷涌現(xiàn)，從底層的大模型，到RAG、混合云部署在內(nèi)的學(xué)習(xí)調(diào)優(yōu)，再到簡單高效的Agent創(chuàng)建和深入知識、人事、市場、銷售、產(chǎn)研等不同場景的Agent應(yīng)用，其中就包括針對企業(yè)數(shù)字資產(chǎn)的專屬AI解決方案和智能應(yīng)用。

比如面向數(shù)據(jù)資產(chǎn)的ChatBI，可以用自然語言隨時隨地查詢經(jīng)營數(shù)據(jù)，實現(xiàn)了“所想即所見”的高效率；比如面向知識資產(chǎn)的ChatMemo，先讓大模型學(xué)習(xí)專業(yè)文檔、融合圖譜與向量，即可提供專家級回答；再比如面向應(yīng)用資產(chǎn)的ChatForm，配合宜搭的無代碼搭建能力，拖拉拽就能打通數(shù)據(jù)，創(chuàng)造智能應(yīng)用……

不難得出這樣的結(jié)論：釘釘?shù)姆桨负湍芰梢詽M足企業(yè)數(shù)字資產(chǎn)向智能要效益的絕大部分需求。有了這種被千萬組織、數(shù)億用戶驗證過的，辦公AI本地化部署方案，企業(yè)AI轉(zhuǎn)型就不再需要從0到1“重復(fù)造輪子”。

而深耕AI框架、算子、計算架構(gòu)、網(wǎng)絡(luò)等根技術(shù)的昇騰，接棒了高性能算力、高能效硬件、智能運維等基礎(chǔ)設(shè)施。

在硬件方面，釘釘專屬AI一體機搭載的昇騰Atlas 800I A2推理服務(wù)器，支持百億級LLM大模型推理，并可以面向中心規(guī)模部署，實現(xiàn)保障業(yè)務(wù)SLA要求下的最大有效輸出。

在軟件方面， MindIE推理引擎提供針對大模型的推理、訓(xùn)練，可以提供通信加速、解碼優(yōu)化、量化壓縮、調(diào)度優(yōu)化等能力，全方位保障釘釘專屬AI一體機的模型推理性能。

其中在14B-70B大模型的推理場景下，釘釘專屬AI一體機的W8A8量化壓縮比W8A16提升了40%，通過HCCS多級通信優(yōu)化，絕大部分模型的吞吐平均性能達(dá)到了友商的1.5倍。

同樣的，還有白屏化部署功能，在大模型的部署過程匯總，用戶無需關(guān)注背后的技術(shù)復(fù)雜性和操作細(xì)節(jié)，而是在圖形化的界面上一步步點擊、配置、安裝，大幅降低了模型部署的門檻，讓企業(yè)更方便地接入。

釘釘?shù)拇竽Ｐ秃蛨鼍皟?yōu)勢，遇到昇騰的底層軟硬件能力，碰撞出了1+1＞2的“協(xié)同效應(yīng)”：從硬件到軟件的深度協(xié)同優(yōu)化，幫助企業(yè)快速、高效、穩(wěn)定地落地大模型應(yīng)用，加速生產(chǎn)、銷售、研發(fā)、管理等環(huán)節(jié)邁向數(shù)智化， “一鍵”挖掘企業(yè)數(shù)字資產(chǎn)的價值。

03 聯(lián)手打破“不可能三角”

最后必須回答的問題是：釘釘專屬AI一體機都有哪些落地場景，能夠給企業(yè)帶來什么樣的價值？

我們找到了一些真實的落地案例。

第一個是知識助理。

釘釘專屬AI一體機對企業(yè)的產(chǎn)品資料、技術(shù)文檔等進(jìn)行學(xué)習(xí)后，扮演起了“銷售助理”的角色，幫助銷售人員快速整理產(chǎn)品資料，以對話的方式對比不同型號產(chǎn)品的差別、解答產(chǎn)品的應(yīng)用場景，進(jìn)一步提高銷售人員的工作效率。

衍生出的場景還有很多。比如面向售前的智能導(dǎo)購，根據(jù)消費者的描述和需求，篩選推薦最適合的產(chǎn)品；再比如銷售陪練，以陪練的方式對新入職的銷售人員進(jìn)行水平測驗，迅速成為“老司機”。

第二個是管理助理。

過去有出差需求時，需要先提交出差申請，通過后人事預(yù)訂機票和酒店，整個過程至少需要三四個小時?，F(xiàn)在可以將相關(guān)權(quán)限下放給AI助理，只需要語音描述出差的時間、地點，即可自動完成機票和酒店的預(yù)訂。

以及困擾無數(shù)職場人的會議室預(yù)訂，需要和每一個參會人員溝通時間，然后在OA平臺上逐個查看哪個會議室是空著的。有了AI助理后，只需要確認(rèn)參會人員名單，就能根據(jù)大家的日程安排自動預(yù)定會議室和會議時間。

第三個是生產(chǎn)助理。

在生產(chǎn)制造環(huán)節(jié)，一個普遍問題是操作人員的不規(guī)范，常常需要人工指導(dǎo)監(jiān)督，其實可以在AI的指導(dǎo)下，幫助生產(chǎn)人員明確生產(chǎn)流程的具體操作，嚴(yán)格遵循質(zhì)量控制標(biāo)準(zhǔn)，保障生產(chǎn)過程的合規(guī)和高效。

相似的還有智能檢修場景，在AI的輔助下按照正確的步驟進(jìn)行故障排查，結(jié)合歷史維修記錄快速判斷故障點，甚至是獲得故障預(yù)測和解決方案，通過經(jīng)驗和知識的快速復(fù)用，提高設(shè)備的檢修效率。

可以看到，釘釘專屬AI一體機的落地場景并未局限在公文寫作、表格生成等簡單場景，深入到了銷售、管理、研發(fā)、生產(chǎn)、維修等企業(yè)生產(chǎn)運作的每一個環(huán)節(jié)，而且在每一個環(huán)節(jié)都釋放出了新的價值。

也就是說，曾經(jīng)阻礙AI本地化部署的“不可能三角”，以“降維打擊”的方式被消除了，并且迸發(fā)出了源源不斷的新質(zhì)生產(chǎn)力。

把視角再放大一些的話，諸如此類的合作遠(yuǎn)不止辦公。

僅僅是在不久前舉辦的華為全聯(lián)接大會2024上，華為就與科大訊飛、交通銀行、釘釘、360在內(nèi)的21家伙伴和客戶，基于昇騰AI基礎(chǔ)軟硬件平臺聯(lián)合發(fā)布大模型推理行業(yè)解決方案，覆蓋了互聯(lián)網(wǎng)、金融、政府、政務(wù)、制造、媒資、交通等行業(yè)。

另一個不應(yīng)該被忽略的信息點在于，在“開放、利他”的理念下，昇騰AI已累計培養(yǎng)3萬多名原生開發(fā)貢獻(xiàn)者，2000多家應(yīng)用伙伴孵化了4000多個行業(yè)解決方案……言外之意，釘釘專屬AI一體機等產(chǎn)品的想象空間遠(yuǎn)未觸頂，將不斷被賦予更多的能力和價值。

04 寫在最后

年初的時候就有不少人預(yù)言：2024年將是大模型推理元年。

回頭來看，預(yù)言不僅得到了充分驗證，還出現(xiàn)了此前未曾料到的“奇跡”。在釘釘專屬AI一體機等產(chǎn)品的幫助下，AI打破了數(shù)據(jù)安全、成本、落地門檻高等重重阻力，讓AI Agent在越來越多行業(yè)生了根、發(fā)了芽。