ECI@創(chuàng)新科技 | ChatGPT之后的四大語(yǔ)言模型及其對(duì)AI開(kāi)發(fā)者的影響（下）

轉(zhuǎn)載贊收藏 評(píng)論

舉報(bào) 2023-08-23

掃描,分享朋友圈

ECI @HiTech開(kāi)欄語(yǔ)

【ECI @科技創(chuàng)新】是由ECI@HiTech科技創(chuàng)新專(zhuān)委會(huì)每周從全球精選熱門(mén)科技創(chuàng)新主題，幫助科技創(chuàng)新者和初創(chuàng)團(tuán)隊(duì)取得成功！讓我們共同攜手，尋找改變現(xiàn)有游戲規(guī)則的科技創(chuàng)新，激發(fā)人類(lèi)的智慧和挑戰(zhàn)，實(shí)現(xiàn)科技的創(chuàng)新和夢(mèng)想。這就是科技創(chuàng)新的終極魅力！也是ECI”將創(chuàng)新帶入生活Bring Innovation to Life” 的使命所在！

通常來(lái)說(shuō)，科技的發(fā)展都會(huì)交替經(jīng)歷平臺(tái)期和爆發(fā)期。平臺(tái)期的科技創(chuàng)新更多聚焦于識(shí)別并解決客戶(hù)現(xiàn)在的痛點(diǎn)，而爆發(fā)期的科技創(chuàng)新更多聚焦于引領(lǐng)并創(chuàng)造客戶(hù)未來(lái)的需求，劃時(shí)代的偉大科技創(chuàng)新往往誕生于此。

隨著ChatGPT等大型語(yǔ)言模型（LLM）的迅速發(fā)展和普及，AI開(kāi)發(fā)者們正面臨著前所未有的挑戰(zhàn)和機(jī)遇。在這個(gè)充滿變革的時(shí)代，它們將對(duì)AI開(kāi)發(fā)者產(chǎn)生深遠(yuǎn)的影響。

LLM的語(yǔ)言界面為人機(jī)交互帶來(lái)了新的挑戰(zhàn)

隨著提示技術(shù)的不斷進(jìn)步，非專(zhuān)業(yè)人員也可以利用人工智能創(chuàng)造出令人驚嘆的、富有創(chuàng)意的作品。無(wú)需編程技能，只需借助人類(lèi)天然的交流工具——語(yǔ)言，來(lái)告訴機(jī)器應(yīng)該如何運(yùn)作。然而，盡管利用大型語(yǔ)言模型（LLM）進(jìn)行快速原型設(shè)計(jì)和實(shí)驗(yàn)的熱潮令人興奮，但我們也需要認(rèn)識(shí)到，用LLM很容易制作出令人眼前一亮的作品，但要讓這些作品具備生產(chǎn)就緒的水平，則是相當(dāng)具有挑戰(zhàn)性的。

在生產(chǎn)過(guò)程中，LLM可能會(huì)對(duì)不完美的即時(shí)設(shè)計(jì)非常敏感，并且會(huì)對(duì)治理、安全和預(yù)期結(jié)果的一致性產(chǎn)生一些問(wèn)題。然而，我們最欣賞LLM的一點(diǎn)是，它的輸入和輸出空間具有開(kāi)放性的特點(diǎn)。然而，這一特性也使得在將它們部署到生產(chǎn)環(huán)境之前，測(cè)試潛在的故障變得更加困難。

幻覺(jué)與無(wú)聲的失敗

如果你曾經(jīng)構(gòu)建過(guò)AI產(chǎn)品，你就會(huì)知道最終用戶(hù)對(duì)AI故障往往非常敏感。用戶(hù)容易產(chǎn)生“消極偏見(jiàn)”：即使你的系統(tǒng)達(dá)到了很高的整體準(zhǔn)確率，那些偶爾發(fā)生但不可避免的錯(cuò)誤情況也會(huì)被放大鏡仔細(xì)審查。LLM的情況則不同。與其他復(fù)雜的人工智能系統(tǒng)一樣，LLM也會(huì)失敗，但它們會(huì)以無(wú)聲的方式失敗。即使他們手頭沒(méi)有好的回應(yīng)，他們?nèi)匀粫?huì)產(chǎn)生一些東西，并以非常自信的方式展示出來(lái)，欺騙我們相信并接受他們，并讓我們陷入進(jìn)一步尷尬的境地。想象一個(gè)多步驟代理，其指令由LLM生成——第一代中的錯(cuò)誤將會(huì)級(jí)聯(lián)到所有后續(xù)任務(wù)，并破壞代理的整個(gè)動(dòng)作序列。

LLM最大的質(zhì)量問(wèn)題之一是幻覺(jué)?；糜X(jué)指的是生成語(yǔ)義或句法上合理但事實(shí)上不正確的文本。諾姆·喬姆斯基(Noam Chomsky)已經(jīng)用他著名的句子“無(wú)色的綠色思想瘋狂地沉睡”表明了一個(gè)觀點(diǎn)：從語(yǔ)言學(xué)的角度來(lái)看，一個(gè)句子可以是完全合乎語(yǔ)法的，但對(duì)人類(lèi)來(lái)說(shuō)卻完全荒謬。然而，對(duì)于LLM來(lái)說(shuō)并非如此，它們?nèi)狈θ祟?lèi)所擁有的非語(yǔ)言知識(shí)，因此無(wú)法將語(yǔ)言置于潛在世界的現(xiàn)實(shí)中。雖然我們可以立即發(fā)現(xiàn)喬姆斯基句子中的問(wèn)題，但是一旦進(jìn)入我們專(zhuān)業(yè)領(lǐng)域之外的更專(zhuān)業(yè)的領(lǐng)域，對(duì)LLM輸出的事實(shí)核查就變得非常麻煩。對(duì)于長(zhǎng)篇內(nèi)容以及不存在基本事實(shí)的交互（例如預(yù)測(cè)和開(kāi)放式科學(xué)或哲學(xué)問(wèn)題）而言，未被檢測(cè)到的幻覺(jué)的風(fēng)險(xiǎn)特別高，產(chǎn)生幻覺(jué)的方法有很多。從統(tǒng)計(jì)學(xué)的角度來(lái)看，我們可以預(yù)期，隨著語(yǔ)言模型學(xué)習(xí)的增加，幻覺(jué)會(huì)減少。但在商業(yè)環(huán)境中，這種“解決方案”的增量性和不確定性使其相當(dāng)不可靠。另一種方法植根于神經(jīng)符號(hào)AI。通過(guò)結(jié)合統(tǒng)計(jì)語(yǔ)言生成和確定性世界知識(shí)的力量，我們或許能夠減少幻覺(jué)和無(wú)聲故障，最終使LLM適用于大規(guī)模生產(chǎn)。例如，ChatGPT通過(guò)整合Wolfram Alpha實(shí)現(xiàn)了這一承諾，Wolfram Alpha是一個(gè)龐大的結(jié)構(gòu)化數(shù)據(jù)庫(kù)，收集了世界知識(shí)。

面臨的提示挑戰(zhàn)

從表面上看，由提示所提供的自然語(yǔ)言接口似乎縮小了AI專(zhuān)家與普通人之間的差距。畢竟，我們所有人都至少懂一種語(yǔ)言，并用它來(lái)交流。那么，為什么不用LLM來(lái)做同樣的事情呢？但提示是個(gè)不錯(cuò)的辦法，除了一些瑣碎的問(wèn)題。成功的提示不僅需要強(qiáng)大的語(yǔ)言直覺(jué)，還需要掌握LLM如何學(xué)習(xí)和工作的知識(shí)。設(shè)計(jì)成功的提示的過(guò)程是高度迭代的，需要進(jìn)行系統(tǒng)的實(shí)驗(yàn)，人類(lèi)努力維持這種嚴(yán)格的秩序。我們往往根據(jù)根植于人際互動(dòng)經(jīng)驗(yàn)的期望來(lái)設(shè)計(jì)提示。

與人交談與與機(jī)器翻譯交談是不同的——當(dāng)我們相互交流時(shí)，我們的輸入是在豐富的情景語(yǔ)境中傳遞的，這使得人類(lèi)語(yǔ)言的不精確性和模糊性得以中和。法學(xué)碩士只能獲得語(yǔ)言信息，因此更不容易原諒。另一方面，很難采用系統(tǒng)的方法進(jìn)行提示工程，所以我們很快就會(huì)進(jìn)行機(jī)會(huì)主義的試錯(cuò)，從而難以構(gòu)建可擴(kuò)展且一致的提示系統(tǒng)。

要解決這些挑戰(zhàn)，有必要教育工程師和用戶(hù)了解LLM的學(xué)習(xí)過(guò)程和失敗模式，并保持對(duì)界面中可能出現(xiàn)的錯(cuò)誤的認(rèn)識(shí)。應(yīng)該清楚的是，LLM的輸出總是一件不確定的事情。例如，這可以通過(guò)在用戶(hù)界面中使用置信度得分來(lái)實(shí)現(xiàn)，這些置信度可以通過(guò)模型校準(zhǔn)得到。對(duì)于即時(shí)工程，我們目前看到了LLMOps的興起，這是MLOps的一個(gè)子類(lèi)別，允許通過(guò)即時(shí)模板化管理即時(shí)生命周期。最后，微調(diào)在一致性方面勝過(guò)了少數(shù)幾次學(xué)習(xí)，因?yàn)樗伺R時(shí)提示的可變“人為因素”，豐富了LLM的固有知識(shí)。一旦積累了足夠的訓(xùn)練數(shù)據(jù)，應(yīng)考慮盡可能地將訓(xùn)練過(guò)程由提示調(diào)整為精細(xì)調(diào)整。

總結(jié)

隨著每天都有新的模型、性能黑客和集成，大型語(yǔ)言模型的兔子洞每天都在加深。對(duì)于公司來(lái)說(shuō)，保持差異化很重要，要密切關(guān)注最近的發(fā)展和新風(fēng)險(xiǎn)，并傾向于親身體驗(yàn)而不是炒作——許多與大型語(yǔ)言模型有關(guān)的權(quán)衡和問(wèn)題只有在現(xiàn)實(shí)世界使用中才能顯現(xiàn)出來(lái)。在本文中，我們研究了最近的發(fā)展以及它們?nèi)绾斡绊懪c大型語(yǔ)言模型一起構(gòu)建。大多數(shù)現(xiàn)有LLM是自回歸模型，擅長(zhǎng)處理生成型任務(wù)。他們對(duì)分析任務(wù)來(lái)說(shuō)可能是不可靠的，在這種情況下，自動(dòng)編碼LLM或其他NLP技術(shù)應(yīng)該是首選的。開(kāi)源LLM和商業(yè)LLM之間存在很大差異，在LLM之間切換可能比看起來(lái)要困難。仔細(xì)考慮各種利弊，評(píng)估可能的開(kāi)發(fā)路徑（從開(kāi)源開(kāi)始，然后轉(zhuǎn)向商業(yè)），如果產(chǎn)品的不同功能依賴(lài)于LLM，則考慮進(jìn)行多LLM設(shè)置。

框架提供了一個(gè)方便的界面，用于構(gòu)建LLM，但不要低估LLM層的重要性--LLM應(yīng)該經(jīng)歷一個(gè)實(shí)驗(yàn)和謹(jǐn)慎選擇的過(guò)程，然后再進(jìn)行全面的MLOps循環(huán)，以確保健壯的、不斷優(yōu)化的運(yùn)行，并緩解諸如模型轉(zhuǎn)換等問(wèn)題。

建造者應(yīng)該積極主動(dòng)地管理人為因素。LLM征服了語(yǔ)言，這是一個(gè)最初只有人類(lèi)才能接觸到的認(rèn)知領(lǐng)域。作為人類(lèi)，我們很快就會(huì)忘記LLM仍然是“機(jī)器”，并且無(wú)法像機(jī)器那樣操作它們。對(duì)于用戶(hù)和員工，考慮如何提高他們的意識(shí)，并教育他們正確操作和使用LLM。

注：本文內(nèi)容轉(zhuǎn)載于Towards Data Science文章：

Four LLM trends since ChatGPT and their implications for AI builders

https://towardsdatascience.com/four-llm-trends-since-chatgpt-and-their-implications-for-ai-builders-a140329fc0d2

目前，2023 ECI Awards（艾奇獎(jiǎng)）正在征賽中，同時(shí)，我們?cè)谂c參賽者的日常交流中，也收到了許多關(guān)于比賽的詢(xún)問(wèn)。為了提升參賽者的體驗(yàn)，ECI組委會(huì)將之前在征賽過(guò)程中，已經(jīng)發(fā)布的關(guān)于各類(lèi)常見(jiàn)問(wèn)題和關(guān)鍵信息等內(nèi)容，整理了一份參賽答疑必備手冊(cè)（請(qǐng)點(diǎn)擊鏈接進(jìn)行了解：ECI Awards 2023丨精彩紛呈！全面掌握?qǐng)?bào)獎(jiǎng)流程與技巧！）我們鼓勵(lì)各位參賽者能夠認(rèn)真準(zhǔn)備作品，并祝愿大家在比賽中斬獲佳績(jī)！

ECI Media官方媒體矩陣

聯(lián)系我們

本文系作者授權(quán)數(shù)英發(fā)表，內(nèi)容為作者獨(dú)立觀點(diǎn)，不代表數(shù)英立場(chǎng)。
轉(zhuǎn)載請(qǐng)?jiān)谖恼麻_(kāi)頭和結(jié)尾顯眼處標(biāo)注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。