谷歌深夜炸彈！史上最強(qiáng)開源模型Gemma，打響新一輪AI之戰(zhàn)

原創(chuàng) 贊收藏 評(píng)論

舉報(bào) 2024-02-22

掃描,分享朋友圈

作者：文子

編輯：小迪

谷歌，2024年卷出新高度。

全球最強(qiáng)開源模型，Gemma重燃戰(zhàn)局

短短12天連放三次大招，谷歌AI更新迭代之快，讓人始料未及。

當(dāng)?shù)貢r(shí)間2月21日，谷歌毫無預(yù)兆地發(fā)布號(hào)稱“全球性能最強(qiáng)大、輕量級(jí)”的新一代開源系列模型Gemma，瞬間打響AI開源戰(zhàn)爭。

據(jù)官方介紹，Gemma模型使用了和Gemini同源的技術(shù)，總共有20億參數(shù)和70億參數(shù)兩種規(guī)模，每個(gè)規(guī)模又分預(yù)訓(xùn)練和指令微調(diào)兩個(gè)版本。

其中20億參數(shù)版本可以直接在筆記本電腦上運(yùn)行，而70億參數(shù)版本在一系列語言理解、推理、數(shù)學(xué)等標(biāo)準(zhǔn)測(cè)試上擊敗了主流開源模型Llama-2和Mistral，一度登頂Hugging Face開源大模型排行榜，成為目前全球最強(qiáng)的開源大模型。

可見，谷歌除了將目光瞄向山姆奧特曼的GPT-5以外，也沒打算放過針對(duì)扎克伯格的Llama-2，先后推出的Gemini和Gemma都是對(duì)標(biāo)產(chǎn)品。

而和Gemini的全家桶路線不同，Gemma這一次主打輕量級(jí)、高性能，除了筆記本電腦電腦，還可以在臺(tái)式機(jī)、物聯(lián)網(wǎng)設(shè)備、移動(dòng)設(shè)備和云端等不同平臺(tái)運(yùn)行。

除了模型本身，谷歌還提供了一整套工具幫助開發(fā)者，確保Gemma模型負(fù)責(zé)任的使用，幫助開發(fā)者用Gemma構(gòu)建更安全的AI應(yīng)用程序。

按照谷歌CEO 桑達(dá)爾·皮查伊的說法，Gemma即日起就將在全球范圍內(nèi)開放使用，用戶可以在Kaggle、Hugging Face等平臺(tái)上進(jìn)行下載和試用。據(jù)一位X平臺(tái)的用戶分享，Gemma不僅速度飛快，而且輸出很穩(wěn)定。

值得注意的是，谷歌目前已與英偉達(dá)達(dá)成戰(zhàn)略合作，將利用英偉達(dá)TensorRT-LLM對(duì)Gemma進(jìn)行優(yōu)化。同時(shí)，英偉達(dá)剛剛發(fā)布的聊天機(jī)器人Chat with RTX也將很快增加對(duì)Gemma的支持。

技術(shù)報(bào)告首度曝光，31人來自亞洲

與Gemini發(fā)布時(shí)一樣，谷歌此次也同步公開了Gemma的技術(shù)報(bào)告。

報(bào)告稱，Gemma數(shù)據(jù)主要來自網(wǎng)絡(luò)文檔、數(shù)學(xué)和代碼的英語數(shù)據(jù)。不同于Gemini，這些模型不是多模態(tài)的，也沒有針對(duì)多語言任務(wù)進(jìn)行訓(xùn)練。而且谷歌保證了兼容性，它分割數(shù)字但不去除額外的空格，這可能意味著它更容易擴(kuò)展到其他語言。

不過Gemma也并不是完全“開源”，雖然Gemma模型在性能、安全性和負(fù)責(zé)任開發(fā)方面實(shí)現(xiàn)了突飛猛進(jìn)的進(jìn)展，但谷歌承認(rèn)“此發(fā)布是不可逆轉(zhuǎn)的”，并且開放模型造成的危害尚未明確定義。

因此谷歌仍然可制定使用該模型的條款及所有權(quán)條款，也會(huì)進(jìn)一步研究并創(chuàng)建可靠、按預(yù)期執(zhí)行的穩(wěn)健、安全的模型。

此外，根據(jù)技術(shù)論文顯示，此次參與谷歌Gemma開源模型的研發(fā)人員數(shù)量高達(dá)57位。其中包括核心貢獻(xiàn)者14人，參與者35人，產(chǎn)品管理2人，項(xiàng)目管理1人，執(zhí)行贊助人5人。

根據(jù)研發(fā)者名字進(jìn)行梳理和猜測(cè)，此次參與Gemma模型研發(fā)的57人中，可能有大約一半以上的開發(fā)者來自亞洲，或與華人或具有華人血統(tǒng)的個(gè)人有關(guān)。

比如谷歌Gemma團(tuán)隊(duì)的侯樂博士曾是谷歌FLAN-T5技術(shù)的作者。在加入谷歌之前，侯樂在紐約州立大學(xué)石溪分校攻讀博士學(xué)位，專注于高分辨率圖像的分析，涵蓋衛(wèi)星圖像和醫(yī)學(xué)圖像等領(lǐng)域。加入谷歌后，侯樂研究主要集中于NLP方面，包括高效的語言模型訓(xùn)練、指令微調(diào)和提示工程等，核心能力是通過更好的微調(diào)和提示工程來提高最先進(jìn)語言模型的推理能力。

另一位華人Geng Yan同樣也是AI領(lǐng)域大神級(jí)人物。他畢業(yè)于浙江大學(xué)計(jì)算機(jī)科學(xué)系，隨后在美國美國卡內(nèi)基梅隆大學(xué)完成計(jì)算機(jī)視覺專業(yè)的碩士學(xué)位。Geng Yan曾就職于商湯和亞馬遜，專注研究人工智能機(jī)器算法技術(shù)，在谷歌曾參與研發(fā)Google Facemesh追蹤面部的AI模型，該模型在谷歌相機(jī)自拍、手機(jī)支付等多個(gè)場景中均發(fā)揮巨大作用。

截至目前，開發(fā)者可以在Kaggle中免費(fèi)使用Gemma，首次使用Google Cloud 的用戶將獲得 300美元的積分，并可申請(qǐng)高達(dá)50萬美元的Google Cloud積分來使用這些模型。

此外，谷歌的Google One AI Premium正在將Gemini整合到谷歌Gmail、Docs、Sheets、Slides和Meet當(dāng)中，提供書寫、校對(duì)和生成圖像等 AI 增強(qiáng)功能。而作為賬戶付費(fèi)產(chǎn)品，前兩個(gè)月免費(fèi)使用，之后每月19.99美元。

全球四面開戰(zhàn)，谷歌野心暴露無遺

可以說，谷歌想要成為AI行業(yè)王者的野心已經(jīng)暴露無遺。

2月9日，谷歌宣布最強(qiáng)大模型Gemini Ultra免費(fèi)使用，向OpenAI發(fā)起強(qiáng)勢(shì)一擊。2月16日，谷歌放出大模型核彈Gemini 1.5，將上下文窗口長度擴(kuò)展到100萬個(gè)tokens，向OpenAI還沒發(fā)布的GPT-5發(fā)起挑戰(zhàn)。再到2月21日，谷歌發(fā)布Gemma瘋狂狙擊Mate，一舉登上開源大模型鐵王座，為生成式AI的應(yīng)用開發(fā)者帶來福音，更為閉源的代表OpenAI狠狠地上了一課。

OpenAI CEO山姆奧特曼就曾在私下表示過，與谷歌相比，OpenAI在算力上處于劣勢(shì)。無論是在算力、算法，還是數(shù)據(jù)方面，谷歌都具有很明顯的技術(shù)領(lǐng)先優(yōu)勢(shì)。

而這一次的谷歌，也的確有拳打OpenAI，腳踢M(jìn)eta的風(fēng)范。尤其是近兩年來，頭部科技大廠你追我趕，廝殺異常激烈。前有閉源代表OpenAI推出的GPT-4 Turbo大模型，后有Meta大力進(jìn)攻開源權(quán)重模型，留給谷歌的時(shí)間本就不多了。

按照谷歌開發(fā)者 X 副總裁兼總經(jīng)理、谷歌開發(fā)者關(guān)系主管Jeanine Banks的說法，Gemma模型就像是谷歌開源AI開發(fā)技術(shù)歷史的延續(xù)，從TensorFlow等工具開始，經(jīng)過PaLM2、AlphaFold的演進(jìn)，最終形成了Gemma。

目前擺在Gemma面前的競爭對(duì)手有Meta的開源大型語言模型 Llama 2、Mistral AI 的7B 模型、Deci的DecilLM和Microsoft的Phi-2，以及旨在在組織自己的硬件上運(yùn)行的類似小型生成式 AI 模型。可以說，憋壞了的谷歌正在四面開戰(zhàn)了。

接下來，就看剛剛跌落神壇的Meta會(huì)如何接招了。

本文系作者授權(quán)數(shù)英發(fā)表，內(nèi)容為作者獨(dú)立觀點(diǎn)，不代表數(shù)英立場。
轉(zhuǎn)載請(qǐng)?jiān)谖恼麻_頭和結(jié)尾顯眼處標(biāo)注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。