分析了六百萬(wàn)字的歌詞數(shù)據(jù)，告訴你中國(guó)的Rapper都在唱些啥？
來(lái)源：摩登天空雜志（公眾號(hào)ID：ModernskyMag）
作者：貓弟Azz
當(dāng)“你有freestyle嗎”火遍全網(wǎng)之后，一個(gè)個(gè)你從來(lái)沒(méi)聽(tīng)過(guò)的 rapper 像加拿大土撥鼠播報(bào)春天一樣冒出洞口——你突然感覺(jué)到，媽的，HipHop還真要成主流了？我努力努力改天還靠這個(gè)吃飯嗎？
然后，你作為一個(gè)對(duì)HipHop，尤其是中國(guó)HipHop毫無(wú)了解的吃瓜群眾，你自然會(huì)好奇以下三個(gè)問(wèn)題：
HipHop到底在唱些什么？
各個(gè)國(guó)家和地區(qū)的 Rapper 們想要說(shuō)的聊的唱的都有哪些特色？
如果想當(dāng)一個(gè)Rapper，我應(yīng)該怎樣寫詞才能緊跟潮流又不會(huì)離題太遠(yuǎn)？
所以我用 Python 抓取了美國(guó)、英國(guó)、臺(tái)灣、香港、中國(guó)大陸四個(gè)地區(qū)，總共六千萬(wàn)的歌詞，其中包括大陸600萬(wàn)的歌詞，做了一些數(shù)據(jù)分析的工作，目的就是給你想要的答案。
我的數(shù)據(jù)源選了蝦米音樂(lè)，因?yàn)槲r米有詳細(xì)的嘻哈音樂(lè)分類，其它的如網(wǎng)易云音樂(lè)、QQ、Spotify、iTunes、StreetVoice，要么欠缺對(duì)歌手音樂(lè)風(fēng)格的分類，要么分類粗糙，沒(méi)法當(dāng)做數(shù)據(jù)源。
選定蝦米音樂(lè)之后，寫了好一會(huì)代碼，抓取歌詞的爬蟲開(kāi)始蹭蹭工作了 ?
爬蟲一般會(huì)面對(duì)兩個(gè)問(wèn)題——
1.代理問(wèn)題
頻繁地抓取網(wǎng)站的頁(yè)面，IP 很容易被封。于是寫了個(gè)抓免費(fèi)代理的爬蟲，抓了八百多個(gè)代理 IP，夠用了。
2.效率問(wèn)題
10萬(wàn)首歌，即使是1秒一個(gè)請(qǐng)求，那得27個(gè)小時(shí)，我可等不了27個(gè)小時(shí)。
于是我決定開(kāi)10個(gè)線程，三小時(shí)程序就能跑完。
……
然后在三小時(shí)之后，我收獲一個(gè)約100M，49419首歌的數(shù)據(jù)庫(kù)。
看著這滿滿的記錄，感受到蜜蜂辛勤搬運(yùn)后看著蜂蜜的喜悅，我相信，關(guān)于HipHop歌詞的秘密全部都包含在里邊了。
接下來(lái)，就是一些數(shù)據(jù)清洗、處理、分析的工作。
蝦米的歌詞都是用戶編輯上傳的，格式不適用數(shù)據(jù)分析，所以我得把無(wú)用的符號(hào)、編曲、作詞之類的信息除去（格式統(tǒng)一有多么重要啊朋友們），然后中英文各自分詞。英文需要去停詞（對(duì)數(shù)據(jù)分析無(wú)用的詞，一般沒(méi)有實(shí)際含義，如 is、on、at、which），大小寫變換，以及詞形變換。英語(yǔ)中詞匯有單復(fù)數(shù)、各種時(shí)態(tài)，為了易于分析，需要還原為詞干。另外不管是中文還是英文都需要詞性標(biāo)注，一般來(lái)說(shuō)分析也就分析名詞和形容詞，這些現(xiàn)成的開(kāi)源庫(kù)使用（此處省去1000萬(wàn)字）。
總之，我都搞定了，以下就是分析結(jié)果。我們先看看大陸地區(qū)的 rapper 歌詞里有都寫啥關(guān)鍵詞 ?
“世界”和“時(shí)間”占據(jù)首位，“老子”、“兄弟”、“baby”、“money”、“bitch”、“real” 等詞倒是讓 rapper 的形象呼之欲出。rapper 的詞里頻繁提到“音樂(lè)”、“歌詞”、“旋律”、“歌曲”，可見(jiàn)他們對(duì)自己的音樂(lè)非常在乎。嘻哈音樂(lè)由于有 freestyle 的文化，對(duì)親自寫詞有要求，否則就不 “ real ” ，從節(jié)目中他們對(duì)偶像 rapper 的 diss 也能看出來(lái)。
接著，我們來(lái)看看與其他幾個(gè)地區(qū)的關(guān)鍵詞對(duì)比↓
看起來(lái) rapper 的生活差不多，無(wú)論大陸還是臺(tái)灣，都喜歡喊 “baby”，身邊都有一群“兄弟”和“朋友”，有“夢(mèng)想”，平時(shí)都在唱 “hip hop” ，有“煩惱”了就罵罵街。
亮點(diǎn)是美國(guó)的關(guān)鍵字 top1 是 “nigga”，這個(gè)和帶有種族歧視意味的 “nigger” 還不是一個(gè)詞。關(guān)于這個(gè)Tupac 有過(guò)一個(gè)有意思的定義。
nigger : a black man with a slavery chain around his neck.
nigga : a black man with a gold chain on his neck.
接下來(lái)，為了了解 rapper 的生活狀況，我開(kāi)始分析一些常見(jiàn)詞匯在歌詞中出現(xiàn)的頻率。饒舌歌手們的生活想必少不了豪車，出門騎摩拜可能有被開(kāi)除 rap 籍的風(fēng)險(xiǎn)。
感謝維基提供汽車品牌頁(yè)面，并且很貼心的分了英語(yǔ)名稱、中國(guó)大陸譯名，于是我又寫了個(gè)爬蟲把品牌名稱抓下來(lái)，然后統(tǒng)計(jì)數(shù)據(jù)庫(kù)中每個(gè)品牌出現(xiàn)的頻率。
這是各汽車品牌在國(guó)內(nèi)16284首嘻哈歌曲中出現(xiàn)的情況，在一首歌的歌詞中出現(xiàn)算一次，總共約有400多首歌中出現(xiàn)至少一次汽車的品牌名字。可以看出，饒舌歌手喜歡寶馬和奔馳的很多，特點(diǎn)只有一個(gè)，就是貴！其實(shí)夏利、桑塔納等車也有不少歌提到，但一般表達(dá)的是消極情緒。
然后我又統(tǒng)計(jì)了一下 rapper 們都喝什么 ?
*紅色是國(guó)內(nèi)饒舌歌手的數(shù)據(jù)，黃色是總數(shù)據(jù)
看來(lái)饒舌歌手不那么喜歡喝威士忌，排在威士忌前面的還分別有龍舌蘭、白蘭地、朗姆酒，限于圖表大小我沒(méi)將這幾個(gè)列入圖表。香檳作為富有的象征，遙遙領(lǐng)先，不過(guò)國(guó)內(nèi)的饒舌歌手似乎處于消費(fèi)尚未升級(jí)的水平，啤酒排在首位。外國(guó)人比較喜歡金酒，國(guó)內(nèi)的饒舌歌手幾乎沒(méi)提到，雖然金酒一般用來(lái)調(diào)雞尾酒，但是雞尾酒提到的次數(shù)也是少得可憐。
絕對(duì)伏特加在《中國(guó)有嘻哈》做廣告確實(shí)是找對(duì)地方了，rapper 們對(duì)伏特加有高于常人的偏好。
所以 rapper 們都怎么喝金酒？我看了看歌詞。
“Sippin’ gin and juice Layin' underneath the palm trees”，gin&juice 是最常見(jiàn)的組合，由于著名 rapper Snoop Dogg 發(fā)過(guò)同名單曲，rapper 們特別喜歡。
“Think we a joke? I'll put three in your throat
Drunk off gin and C&C; coke then we flee in a boat”，金酒兌可樂(lè)，聽(tīng)起來(lái)不錯(cuò)。
“Rolling weed in raw papers, taking shots, gin got me faded
If I get back to your spot, won’t know how I made it”，一邊飛葉子一邊喝金酒！
“Havin’ fun with some bitches smokin' weed in the ride
On the corner with my dogs drinkin' gin to survive”，這個(gè) rapper 跟一個(gè)狗喝 gin，看來(lái)故事很多。
“Swimmin’ under water like I'm aquaman
I used to drink gin now it's vodka man”，這個(gè) rapper 喝膩了，從金酒轉(zhuǎn)到伏特加陣營(yíng)......
然后，我們來(lái)看一下管制藥物的情況 ?
果然大家還是喜歡葉子，不只是饒舌歌手啦。
饒舌歌手喜歡互相 diss，所以他們 diss 時(shí)會(huì)罵些啥？讓我們來(lái)看看他們都罵了什么臟話。
這個(gè)統(tǒng)計(jì)有個(gè)小插曲，第一次統(tǒng)計(jì)發(fā)現(xiàn)一個(gè)中文臟話都沒(méi)有，還以為凈網(wǎng)運(yùn)動(dòng)成功了，結(jié)果發(fā)現(xiàn)分詞的詞庫(kù)里壓根就沒(méi)臟話的詞匯，重新手動(dòng)加入詞庫(kù)后就好了。
（左邊是所有數(shù)據(jù)的出現(xiàn)次數(shù)，右邊是大陸說(shuō)唱的出現(xiàn)次數(shù)）
大陸16284首歌有2496首出現(xiàn)臟話，臟話率約為15%，而非大陸的數(shù)據(jù)中，33134首歌有13217首出現(xiàn)臟話，臟話率約為40%。
總的來(lái)看，我國(guó)歌手比較符合社會(huì)主義核心價(jià)值觀。我試著把 “damn” 和 “shit” 這兩個(gè)不那么“臟”并且口語(yǔ)常見(jiàn)的詞在國(guó)外的統(tǒng)計(jì)中去掉，最后臟話率還有33%，比例遠(yuǎn)遠(yuǎn)高于大陸。一個(gè)推測(cè)是，英文臟話詞匯在歌詞中更容易押韻，或者唱起來(lái) flow 更好把握。另一個(gè)可能是審查原因，早有 “in3” 這樣的樂(lè)隊(duì)英文歌詞原因被禁，國(guó)內(nèi)的 rapper 創(chuàng)作起來(lái)可不能太奔放。
最后我們來(lái)探討一下 rap 里的押韻。
在《中國(guó)有嘻哈》中我們看到有單押、雙押、三押，各種層出不窮的押韻。旋律、押韻、節(jié)奏是說(shuō)唱歌曲三個(gè)很重要的評(píng)判標(biāo)準(zhǔn)，一個(gè)好的押韻，能讓歌曲的 flow 更加流暢。
那么我們?cè)趺床拍艹隹峥岬难喉嵞兀课覐母柙~庫(kù)中取出所有歌詞，分詞，然后根據(jù)韻母、聲調(diào)分類，然后得到了一個(gè)押韻詞匯文件。
韻腳的分布挺有趣的，我統(tǒng)計(jì)了一下出現(xiàn)前十的兩字詞語(yǔ)韻腳
可以看出，i i 這個(gè)韻腳是最容易押韻的。下圖的這個(gè)韻腳的部分詞匯。“勢(shì)利”，“世紀(jì)”，“日志”，“秘密”……
看著這些詞匯，我就情不自禁 rap 起來(lái)了，drop the beat！
雙押x9 達(dá)成！
以上應(yīng)該能告訴你中國(guó)到底有什么樣的嘻哈了。
摩登天空雜志（公眾號(hào)ID：ModernskyMag）
轉(zhuǎn)載請(qǐng)?jiān)谖恼麻_(kāi)頭和結(jié)尾顯眼處標(biāo)注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。
未經(jīng)授權(quán)嚴(yán)禁轉(zhuǎn)載，授權(quán)事宜請(qǐng)聯(lián)系作者本人，侵權(quán)必究。
本文禁止轉(zhuǎn)載，侵權(quán)必究。
授權(quán)事宜請(qǐng)至數(shù)英微信公眾號(hào)(ID: digitaling) 后臺(tái)授權(quán)，侵權(quán)必究。
評(píng)論
評(píng)論
推薦評(píng)論
全部評(píng)論（10條）