2020年突發(fā)的新冠疫情雖然對我國實體經(jīng)濟(jì)產(chǎn)生了巨大影響，但由此刺激線上經(jīng)濟(jì)快速發(fā)展，在很大程度上對沖了消極影響。根據(jù)2021年1月國家統(tǒng)計局的最新數(shù)據(jù)——2020年，我國實物商品網(wǎng)上零售額97590億元，增長14.8%，對比城鎮(zhèn)消費(fèi)品零售總額比上年下降4.0%，無疑進(jìn)一步揭示了電商流通加速替代傳統(tǒng)零售的大趨勢。后疫情時代，無論是新潮牌還是傳統(tǒng)品牌都在加碼電商渠道的投入，伴隨線上銷售的占比節(jié)節(jié)攀高，面向電商平臺的精細(xì)化運(yùn)營管理必然越來越重視消費(fèi)者產(chǎn)生的海量評價意見數(shù)據(jù)。通過大數(shù)據(jù)技術(shù)，對多個平臺的商品品類或SKU采集這些評論數(shù)據(jù)在今天已經(jīng)不是一件難事，然而要精準(zhǔn)、快速地理解消費(fèi)者意見的內(nèi)涵，真正驅(qū)動銷售運(yùn)營或產(chǎn)品創(chuàng)新目前市場上還鮮有能夠滿足普遍需求的AI產(chǎn)品和服務(wù)。

• 壹沓科技的AI團(tuán)隊在多年以來積累的面向傳播的篇章級情感分析技術(shù)的基礎(chǔ)上，研究自然語言處理（NLP）技術(shù)最新成果和行業(yè)實踐經(jīng)驗，正在研發(fā)接近無監(jiān)督模式的細(xì)粒度通用情感分析引擎。下文將為讀者揭示細(xì)粒度情感分析這一技術(shù)的前世今生，并分享壹沓科技在該任務(wù)方向上的經(jīng)驗認(rèn)知——

• 在自然語言處理（Natural Language Processing，NLP）領(lǐng)域，文本情感分析，也被稱為觀點挖掘（Opinion Mining），是對實體（包括產(chǎn)品、服務(wù)、組織、個人、議題、事件、話題及他們的屬性等）表達(dá)的觀點、評價、態(tài)度和情感進(jìn)行計算的專項任務(wù)。伴隨互聯(lián)網(wǎng)和電子商務(wù)的誕生，自2000年以來，情感分析逐漸發(fā)展成為的一個基礎(chǔ)研究和產(chǎn)業(yè)實踐都非常重視的技術(shù)方向。

• 近年來，以海量訓(xùn)練數(shù)據(jù)作為基礎(chǔ)，對于評論語料的整體情感分析已經(jīng)達(dá)到了可實際商用的精度，行業(yè)對該技術(shù)提出進(jìn)一步深入發(fā)展的需求，研究熱點已經(jīng)逐步聚焦到方面級別的細(xì)粒度情感分析（Aspect Based Sentiment Analysis - ABSA），國際語義評測大會SemEval從2014年起連續(xù)三年將ABSA任務(wù)作為其子任務(wù)，梳理了四項任務(wù)，提供了一系列人工標(biāo)注的基準(zhǔn)數(shù)據(jù)集。最近，基于深度學(xué)習(xí)技術(shù)的方面級情感分析研究蓬勃興起，取得了突破性進(jìn)展。

什么是細(xì)粒度情感分析和觀點挖掘？

• 評論整體情感分析不同細(xì)粒度情感分析和意見挖掘更注重于屬性詞和情感詞的識別和抽取，對評論中的多個實體或?qū)傩苑謩e計算情感傾向，從而獲得多維度情感信息量，進(jìn)而獲得更有效的信息，充分展現(xiàn)了評論文本數(shù)據(jù)的應(yīng)用價值。比如給定一句產(chǎn)品評論，我們需要能夠從中確定哪些詞是用戶所評價的產(chǎn)品屬性，哪些詞是用戶的態(tài)度。

• 例如，在評論“XX 手機(jī)真的很不錯，但是就是屏幕有點差”中，“手機(jī)”和“屏幕”都是用戶所評價的產(chǎn)品屬性，即“評價對象”；而“不錯”和“差”則都是用戶的態(tài)度，即“評價詞語”。我們需要做的是提取出這幾個詞語，并確定詞語之間的搭配關(guān)系。

? 細(xì)粒度情感分析技術(shù)更具面向運(yùn)營的商業(yè)價值

• 就電商而言，目前主流的電商平臺在處理商品評論的情感分類時，僅直接將商品評論整體分為好評、差評、中評，然而用戶在針對一件商品發(fā)表評論時，除了會給出總體評價，通常會針對該實體的屬性進(jìn)行評價。比如“這家餐廳的口味很不錯，就是服務(wù)態(tài)度太差了”，針對口味這個評價對象給出了好評，針對服務(wù)這個評價對象卻給出了差評。類似主流的分類方法如圖所示，針對手機(jī)質(zhì)量本身給出了好評，卻對服務(wù)態(tài)度給出了差評。而該平臺僅將整條評論語句情感傾向性歸為中評類。通過這兩個實例會發(fā)現(xiàn)如果僅對整體語句進(jìn)行情感分類不僅會導(dǎo)致該條評論信息的重點缺失，還會導(dǎo)致情感分類結(jié)果的準(zhǔn)確度下降，如果采用細(xì)粒度情感分析和意見挖掘這項技術(shù)方法對商品評論信息進(jìn)行細(xì)粒度的情感劃分即按照不同情感對象進(jìn)行情感分類，就能為品牌電商運(yùn)營方提供更多維度的有效信息，通過在線數(shù)據(jù)分析OLTP可以針對不同品類、不同商品、不同渠道、不同營銷活動分別建立洞察，甚至可以對比競品的消費(fèi)者動向，即時根據(jù)市場反饋調(diào)整運(yùn)營重點和產(chǎn)品迭代。

（上例：消費(fèi)者對產(chǎn)品基本滿意，但對代言人廣告不滿）

• 同時，細(xì)粒度情感分析是也能夠加強(qiáng)品牌方和消費(fèi)者的連接。電商商品的褒貶口碑往往決定了其銷售的命運(yùn)，通過對產(chǎn)品評論的細(xì)粒度情感分析可以深入地了解用戶對產(chǎn)品的反饋，實現(xiàn)企業(yè)對產(chǎn)品設(shè)計的改進(jìn)。若能快速定位用戶評價中所說的問題，并且快速進(jìn)入運(yùn)營處理流程，會帶來消費(fèi)者對企業(yè)服務(wù)質(zhì)量有顯著的體驗提升。

• 具體來說，就是可以將原始評論信息進(jìn)行NLP分析處理之后，由AI技術(shù)抽取觀點、分類聚合，給出具備明確情感傾向(好、中、差)的評價數(shù)據(jù)，再由企業(yè)管理部門分配給售后、物流、服務(wù)報表等環(huán)節(jié)，進(jìn)行服務(wù)人員的評分考核、產(chǎn)品改進(jìn)。

電商評論的細(xì)粒度情感分析技術(shù)行業(yè)現(xiàn)狀？

• 目前，可實用的評論情感分析大都集中在粗粒度層面上，即只能進(jìn)行對單條評論整體的情感分類，如正向和負(fù)向等等。而且對于粗粒度層次的情感分析的研究也停留在篇章級以及句子級的層面上，這就導(dǎo)致了其不能從更加細(xì)致的層面上分析出事物主體的各個屬性以及特征之間的關(guān)系，或者說是情感極性。顯然，粗粒度情感分析層面的研究已經(jīng)不能滿足人們的需要，社會大眾以及商家、生產(chǎn)商需要從更細(xì)致的層面上了解產(chǎn)品以及其他事物主體，這就要求我們從更加細(xì)致層面上對事物主體進(jìn)行分析，使用戶更加直觀的獲取所需的信息，減少信息獲取量。

• 現(xiàn)在各大云平臺都有推出了自然語言處理相關(guān)項目的服務(wù)。如阿里云的自然語言處理、騰訊云的自然語言處理NLP,還有百度AI開放平臺的自然語言處理模塊。這三個平臺都有提供情感傾向分析模塊，但細(xì)粒度只是停留在句子級的層面上。此外，百度AI還提供了評論觀點抽取模塊，但只抽取到適應(yīng)預(yù)訓(xùn)練過的幾個行業(yè)場景的少數(shù)一些分類維度。在面向?qū)嶋H的電商運(yùn)營，大平臺的標(biāo)準(zhǔn)化服務(wù)都顯得挖掘深度不足，實用性欠佳。

• 壹沓科技在實際業(yè)務(wù)中遇到的對某品牌鞋的評價，“顯得腳大，但是舒服”，在該評價實例中，針對鞋子的外觀這個評價對象該買家給出了差評，而針對鞋的舒適度這個評價對象則給出了好評。而騰訊云和百度AI平臺都將整條評論語句情感傾向性歸為好評類。在用戶表達(dá)的多評價對象情感有矛盾的案例中，原有情感分析技術(shù)往往不能獲得準(zhǔn)確的結(jié)果。

壹沓AI細(xì)粒度情感分析框架

• 對評論文本進(jìn)行數(shù)據(jù)清洗，提取主題詞和情感詞。首先，用戶的在線評論文本通常包含與情感分析無關(guān)的噪聲數(shù)據(jù)，因此，可以使用正則表達(dá)式去除表情、占位符等特殊符號，再借用停用詞詞表去除停用詞。其次，由于句子的表示方式靈活且復(fù)用率低，因此現(xiàn)有的自然語言處理任務(wù)通常需要對句子進(jìn)行分詞，將詞視為最小的可以獨(dú)立運(yùn)用的單元。最后，要將文本轉(zhuǎn)化為便于存儲和處理的結(jié)構(gòu)化格式。這一目標(biāo)主要采用向量空間模型來構(gòu)建文本向量。

• 對用戶評論的中的主題詞和情感詞提取之后，還需要抽取出主題詞和情感詞之間的評價配對關(guān)系。利用前面模塊處理好的數(shù)據(jù)集訓(xùn)練模型、并用模型來對文本進(jìn)行情感分類。最后將各個時刻的前向隱藏狀態(tài)與其對應(yīng)時刻的反向隱藏狀態(tài)相結(jié)合，得到該時刻的最終輸出。下圖為細(xì)粒度情感分析流程框圖。

（細(xì)粒度情感分析流程框圖）

細(xì)粒度情感分析及意見挖掘的相關(guān)技術(shù)

壹沓科技AI部門在細(xì)粒度情感分析及意見挖掘方面也取得了部分進(jìn)展，下面介紹幾個對于該項任務(wù)中幾個比較關(guān)鍵的技術(shù)方法，希望通過本文能夠給喜歡和熱愛NLP的伙伴們帶來一些收獲。

? 主題詞和情感詞之間的評價配對關(guān)系

• 在自然語言處理任務(wù)中可以將主題詞和情感詞之間的評價配對關(guān)系當(dāng)成關(guān)系分類任務(wù)來解決?？梢詫⑷蝿?wù)簡化為對抽取的主題詞和情感詞進(jìn)行逐對判斷其是否為配對關(guān)系即可。例如“這款手機(jī)的外型很好看，但是電池真的是不耐用”一句中，(外型，好看)與（電池，不耐用）是正確的配對，但（外型，不耐用）不是正確的配對關(guān)系。如下圖所示。

• 目前，基于傳統(tǒng)的機(jī)器學(xué)習(xí)的語言模型已經(jīng)能有效地處理這類任務(wù)，但往往對語法不規(guī)范的電商評論準(zhǔn)確性下降不少。通過深度學(xué)習(xí)的方法在海量語料中進(jìn)行訓(xùn)練，利用改進(jìn)的LSTM神經(jīng)網(wǎng)絡(luò)—AF-LSTM對比可以取得不錯的效果。

該模型的優(yōu)點在于讓注意力層專注于學(xué)習(xí)上下文詞的相對重要性，不用學(xué)習(xí)aspect和單詞之間的關(guān)系。降低了計算復(fù)雜性和存在過擬合風(fēng)險。如下圖所示。在輸入經(jīng)過 embedding 層和 LSTM 層之后進(jìn)入到 Word-Aspect Fusion Attention Layer，這也是該模型的重點。如圖所示：

（AF-LSTM模型整體框架）

• 「Normalization Layer（optional）：」 在隱狀態(tài)矩陣和 aspect vector 進(jìn)行交互之前可以選擇性地對其進(jìn)行正規(guī)化操作，可以選用 Batch Normalization；

• 「Associative Memory Operators：」 用于計算 context word 和 aspect word 之間的關(guān)系。有兩種：circular correlation 和 circular convolution；

• 「Learning Attentive Representations:」 將 aspect 和 context 進(jìn)行 fusion 之后得到的向量表示進(jìn)行 attention 操作。

? 文本情感級性判斷

• 對評論進(jìn)行完主題詞和情感詞的配對提取之后，需要對本句評論的情感極性做出判斷，方便用戶和商家更好的了解顧客對商品的情感傾向。通過大量觀察實驗中的評論數(shù)據(jù)，發(fā)現(xiàn)有很多用戶評論中所表達(dá)的包含若干個主題，用戶對于不同的主題所表達(dá)的情感極性也是不一樣。下表列舉了用戶評論中所表達(dá)的包含若干個主題的評論。

（用戶評論多主題詞情感極性標(biāo)注樣例）

• 對于表用戶的評論“手機(jī)的外殼看起來很舒服，觸屏鍵特別敏感，就是待機(jī)時間不長?！边@條評論中，一共存在的主題詞和情感詞對有（外殼，舒服）、（觸屏鍵，敏感）、（耗電，快）。該評論中對于不同的主題詞有著不同的情感極性。如果整體對該評論打上情感極性標(biāo)簽，是無法分到積極、消極和中性的類別中，但是分別對于每個主題詞，可以很準(zhǔn)確地判斷其對應(yīng)的情感極性。因此，如果能對每個含有主題詞的短句進(jìn)行情感極性判斷的效果是比直接對整句評論進(jìn)行情感極性判斷的更要準(zhǔn)確。下面給大家介紹一種融合詞性注意力機(jī)制的細(xì)粒度情感極性分析模型BiLSTM-Attention+POS+Multi-Dic。

（融合詞性注意力機(jī)制的細(xì)粒度情感極性分析模型）

• 首先將評論語句中的各單詞及對應(yīng)的詞性和多領(lǐng)域詞典特征進(jìn)行向量化編碼，分別轉(zhuǎn)換成固定長度的低維稠密向量表示。然后對單詞向量及對應(yīng)的多領(lǐng)域詞典向量進(jìn)行拼接輸入到下一層中進(jìn)行特征學(xué)習(xí)。特征學(xué)習(xí)主要利用 Bi-LSTM 網(wǎng)絡(luò)模型的優(yōu)勢提取文本的高維抽象特征，然后結(jié)合注意力機(jī)制將待抽取實體的語句中各單詞及其多領(lǐng)域詞典特征的高維抽象特征取出，與各詞單元對應(yīng)的詞性特征向量進(jìn)行注意力關(guān)注計算，從而得到詞性特征對預(yù)測目標(biāo)的貢獻(xiàn)矩陣。把注意力層的輸出特征進(jìn)行拼接，即得到最終得到的文本特征表示 Ls。

• 如上圖所示， 在BiLSTM 的基礎(chǔ)上提出 BiLSTM-Attention+POS+Multi-Dic 分類模型，模型構(gòu)建多領(lǐng)域詞典特征，融合 Attention 機(jī)制，適當(dāng)分配詞性的注意力對文本情感極性分類的權(quán)重貢獻(xiàn)度，對文本情感極性分類的有著很大的提高。

展望未來

壹沓科技AI團(tuán)隊在面向電商商品評論的細(xì)粒度情感分析問題上取得了一些階段性成果，但是，為了能夠更好地完成通用的分析引擎，還有很多內(nèi)容值得進(jìn)一步深入研究與改進(jìn)優(yōu)化。下一步的工作將會圍繞著以下幾個方面展開：

• 基于大規(guī)模的預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行完全端對端成對抽取評論中的主題詞和情感詞在某些數(shù)據(jù)集上有很好的測評效果，后續(xù)的工作可以嘗試使用聯(lián)合解碼的方式，同時識別句子中的主題詞和對應(yīng)的情感詞。

• 雖然我們的方法已經(jīng)考慮到了隱含實體，基本解決了評價中沒有顯式評價對象的問題，但是很多用戶的評價往往還缺乏連續(xù)的顯式評價詞（通過短語整體體現(xiàn)情感傾向），如何高效地識別這些隱式情感并準(zhǔn)確分類也有待下一步解決。

• 面向?qū)嶋H商用和客戶觀感，如何有效評價結(jié)果中的對象詞和情感詞的抽取置信度往往會決定最終上線產(chǎn)品的客戶滿意度，這方面的工作也待后續(xù)開展。

關(guān)于壹沓科技

壹沓科技成立于2016年11月，聚焦于前沿技術(shù)在企業(yè)數(shù)字化中的應(yīng)用，公司核心業(yè)務(wù)包括壹沓數(shù)字機(jī)器人產(chǎn)品-Cube Robot和壹沓品牌方程服務(wù)-Formula DBM，已經(jīng)為多個行業(yè)數(shù)百家企業(yè)及政府提供服務(wù)。

我們在自然語言處理-NLP、圖像文字識別-OCR、知識圖譜-KG、大數(shù)據(jù)挖掘-Data Mining、機(jī)器人流程自動化-RPA和業(yè)務(wù)流程重構(gòu)及管理-BPR&BPM等領(lǐng)域具備完整的自主研發(fā)能力，已獲得軟件知識產(chǎn)權(quán)數(shù)十個。

總部位于上海 ，在北京、深圳設(shè)有分公司，已獲得高新技術(shù)企業(yè)、雙軟及專精特新企業(yè)等專業(yè)認(rèn)證 。核心團(tuán)隊來自于多家知名上市公司，在企業(yè)服務(wù)及互聯(lián)網(wǎng)從業(yè)超過10年，擁有大數(shù)據(jù)、云服務(wù)及人工智能領(lǐng)域的豐富經(jīng)驗。