繼上期“Google加入文檔智能化戰(zhàn)局，Document AI離企業(yè)還有多遠(yuǎn)？”,壹沓科技為行業(yè)用戶了解當(dāng)前市場可公開獲得的文檔智能工具在復(fù)雜應(yīng)用場景下的識(shí)別與表單分析實(shí)際能力，我們評(píng)測比較了七家行業(yè)領(lǐng)先中外企業(yè)的AI開放平臺(tái)中的OCR及表格識(shí)別、表單識(shí)別功能。

此次壹沓評(píng)測使用了目前在線開放的七家OCR及表格表單識(shí)別接口，包括Google云新推出的Document AI，微軟Azure云平臺(tái)的Form Recognizer，百度AI智能通用表格類OCR，阿里達(dá)摩院的表格類OCR，騰訊云表格類OCR，合合表格類OCR和薪火表格類OCR。評(píng)測目標(biāo)是對文字識(shí)別準(zhǔn)確度，表格抽取完整度，表格結(jié)構(gòu)準(zhǔn)確度和鍵值對抽取完整度以及準(zhǔn)確度（目前只有Document AI和Form Recognizer有提取鍵值對的功能），通過三項(xiàng)實(shí)際場景表單樣本進(jìn)行測試評(píng)價(jià)。?????

此次壹沓AI團(tuán)隊(duì)測評(píng)結(jié)論可以簡單歸結(jié)為三句話：

文字識(shí)別尚可信賴，表格分割不夠智能，鍵值抽取十分局限。

測評(píng)詳情

我們分別從服務(wù)可獲得性，業(yè)務(wù)規(guī)模，專項(xiàng)能力等維度從上百家OCR及相關(guān)服務(wù)提供商中選擇出以下7家AI文檔智能識(shí)別開放平臺(tái)：

1. Google推出的Document AI，工具分為general和specialized，general包括Document OCR，Document Splitter和Form Parser，specialized主要是針對domain-specific的文檔，例如收據(jù)，發(fā)票，W2表格（美國國稅局使用的納稅表格）我們分別測試了Document OCR和Form Parser，前者是針對文檔的內(nèi)容與結(jié)構(gòu)識(shí)別，后者的功能是提取表單中的鍵值對。

2. Microsoft推出的Form Recognizer（表單識(shí)別）可以識(shí)別和提取表單文檔中的鍵值對和表數(shù)據(jù)。它的輸出包含原始文件中的關(guān)系的結(jié)構(gòu)化數(shù)據(jù)。Form Recognizer有內(nèi)置的預(yù)訓(xùn)練過的模型可以直接調(diào)用，其中有針對發(fā)票等表單的特定模型。同時(shí)Form Recognizer也支持無監(jiān)督學(xué)習(xí)使模型無需手動(dòng)數(shù)據(jù)標(biāo)記或密集編碼即可了解布局和現(xiàn)場數(shù)據(jù)。用戶也可以使用手動(dòng)標(biāo)記的數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)。用標(biāo)簽數(shù)據(jù)訓(xùn)練的模型可以表現(xiàn)更好，并且可以處理更復(fù)雜的文檔。

3. 百度AI開放平臺(tái)提供的OCR接口多達(dá)十個(gè)大類，總共幾十個(gè)針對不同場景的OCR識(shí)別，例如，針對汽車場景，教育場景，財(cái)務(wù)票據(jù)等專門定制OCR。此外，百度OCR支持多種語言的高精度整圖文字檢測和識(shí)別服務(wù)，包括各類印刷和手寫文檔、網(wǎng)絡(luò)圖片、表格、數(shù)字、二維碼等。

4. 騰訊云OCR支持20種語言識(shí)別，適用于印刷文檔識(shí)別、網(wǎng)絡(luò)圖片識(shí)別、廣告圖文字識(shí)別、街景店招牌識(shí)別、菜單識(shí)別、視頻標(biāo)題識(shí)別、頭像文字識(shí)別等場景；支持自動(dòng)識(shí)別語言類型，可返回文本框坐標(biāo)信息，對于傾斜文本支持自動(dòng)旋轉(zhuǎn)糾正。

5. 阿里達(dá)摩院是阿里巴巴全球研究院，成立于2017年，讀光是一款由阿里巴巴集團(tuán)達(dá)摩院團(tuán)隊(duì)打造的OCR云產(chǎn)品，具有完備的圖像文字定位、文字識(shí)別和文字理解的技術(shù)體系。讀光OCR孵化于阿里巴巴集團(tuán)內(nèi)部，為阿里巴巴集團(tuán)各個(gè)BU和業(yè)務(wù)方提供高性能、高穩(wěn)定性的文字識(shí)別服務(wù)，服務(wù)的日均訪問量高達(dá)上億次。

6. 合合信息成立于2006年，專注于模式識(shí)別OCR(光學(xué)字符識(shí)別)技術(shù)，在OCR、人工智能、手寫識(shí)別、圖像處理及自動(dòng)圖像增強(qiáng)等領(lǐng)域精耕十多年，旗下C端產(chǎn)品名片全能王、掃描全能王等共累計(jì)用戶超10億。合合的AI開放平臺(tái)專注于圖像文字處理，提供基礎(chǔ)OCR，證件OCR，票據(jù)OCR等服務(wù)。

7. 薪火科技成立于2014年1月17日，是專注于人工智能行業(yè)解決方案、軟件開發(fā)等領(lǐng)域的知名高科技公司。薪火的核心技術(shù)OCR識(shí)別，人臉識(shí)別等圖像識(shí)別算法。薪火的表格OCR對表格、文檔、合同等形式的圖片進(jìn)行識(shí)別，生成保留內(nèi)容格式的word文檔，節(jié)省大量人工錄入時(shí)間。準(zhǔn)確率超過99%，技術(shù)實(shí)力處于國內(nèi)領(lǐng)先水平。

測評(píng)樣本介紹我們使用了三份樣本來進(jìn)行測試，分別是大學(xué)學(xué)生成績單（中文和對照的英文），醫(yī)院血液檢驗(yàn)報(bào)告單和海關(guān)進(jìn)口貨物報(bào)關(guān)單，分別代表了教育、醫(yī)療、物流三大行業(yè)場景。（如下圖所示）

大學(xué)學(xué)生成績單樣本特點(diǎn)：文本是掃描件印刷體，文本清晰；無表格線且結(jié)構(gòu)復(fù)雜；行與行之間不對齊，內(nèi)容緊密；列距緊密。

（大學(xué)成績單樣本）

醫(yī)院血檢報(bào)告單的樣本特點(diǎn)：圖片是照片的形式，并不完全整齊；無表格線；表格結(jié)構(gòu)較簡單，列距較成績單樣本寬很多。

（醫(yī)院血液檢驗(yàn)報(bào)告單樣本）

海關(guān)貨物報(bào)關(guān)單的樣本特點(diǎn)：文本是掃描件印刷體；表格線清晰；表格是行業(yè)規(guī)范模板。

（海關(guān)貨物報(bào)關(guān)單樣本）

一、大學(xué)學(xué)生成績單樣本測試結(jié)果

1. Google Document AI實(shí)驗(yàn)結(jié)果表明谷歌的文字識(shí)別準(zhǔn)確度非常高（由于網(wǎng)頁框架限制只截取部分結(jié)果），文檔抽取完整度也是最高的，但是對于表格結(jié)構(gòu)識(shí)別較差，即使是有表格線的文本結(jié)構(gòu)也無法識(shí)別出表格結(jié)構(gòu)。尤其是在識(shí)別中文表格時(shí)，完全無法識(shí)別結(jié)構(gòu)，如圖所示，每一塊區(qū)域識(shí)別成一段文本。英文的表格識(shí)別要稍好一些，但依然存在這類問題，識(shí)別結(jié)果沒有體現(xiàn)出字段之間的邏輯關(guān)系。

（Document OCR區(qū)域結(jié)構(gòu)識(shí)別結(jié)果）

（Document OCR文字識(shí)別結(jié)果（部分））

（Document OCR英文成績單區(qū)域結(jié)構(gòu)識(shí)別結(jié)果）

Google Form Parser目前還無法識(shí)別中文。對于英文文字能全面識(shí)別，但是表格數(shù)據(jù)沒有定位到所有鍵值對。下圖分別是英文成績單key value識(shí)別結(jié)果。圖中紅框是提取錯(cuò)誤的地方，Date of Enrollment沒有單獨(dú)抽出來，而是跟在了female后面。

（Form Parser英文成績單鍵值對提取結(jié)果）

2.Microsoft Azure Form RecognizerForm Recognizer在英文表單的表現(xiàn)是所有公司里最好的，無論是文字識(shí)別準(zhǔn)確度，表格結(jié)構(gòu)還是鍵值對提取都是最好。但是目前Form Recognizer還無法識(shí)別中文。

（圖中是識(shí)別英文成績單的鍵值對返回結(jié)果）

表格結(jié)構(gòu)是按照cell來返回，基本沒有錯(cuò)行的情況，但對于無表格線分隔的數(shù)據(jù)會(huì)有幾個(gè)字段連在一起的情況。（如下圖所示）

（Form Recognizer英文成績單表格識(shí)別結(jié)果（部分））

3. 百度表格類OCR百度表格OCR識(shí)別的結(jié)果分為，header，body和footer三個(gè)部分，下圖是識(shí)別英文成績單的body部分，結(jié)構(gòu)非常混亂。中文識(shí)別的結(jié)構(gòu)性更弱，除了header部分，其余基本不能抽出合理的表格。

（百度表格類OCR英文成績單body部分識(shí)別結(jié)果）

下圖是識(shí)別的表頭，最大的問題是和body部分無法對應(yīng)。正確的表頭應(yīng)該是‘course，credit，score，GPA’的格式。

（百度表格類OCR英文成績單header部分識(shí)別結(jié)果）

Footer的識(shí)別效果比前兩者好一些，但也有少量文字識(shí)別錯(cuò)誤

4. 阿里達(dá)摩院表格類OCR阿里達(dá)摩院的表格識(shí)別整體來說是七家公司里表現(xiàn)最不合格的，對于中文成績單，文字識(shí)別和結(jié)構(gòu)識(shí)別都完全錯(cuò)誤，可能在字符分割部分算法的魯棒性不足，結(jié)果如下圖所示。

（阿里達(dá)摩院表格類OCR中文成績單識(shí)別結(jié)果）

5. 騰訊云表格類OCR騰訊云的文字識(shí)別準(zhǔn)確度達(dá)到OCR服務(wù)水準(zhǔn)，但獲得的表格結(jié)構(gòu)比較混亂，下圖是界面輸出的部分識(shí)別結(jié)果，表格結(jié)構(gòu)有錯(cuò)行錯(cuò)列的問題占比不小。

（騰訊云表格類OCR中文成績單識(shí)別結(jié)果（部分））

6. 合合表格類OCR合合的表格OCR可以將文字和表格分開，表格結(jié)構(gòu)基本可以體現(xiàn)出來，沒有出現(xiàn)錯(cuò)行錯(cuò)列的問題，但是對于無表格線表格的列切分還存在局部問題，會(huì)導(dǎo)致缺少文字。整體文字識(shí)別準(zhǔn)確度較高，抽取完整度比較高。下圖是中文成績單的識(shí)別可視化部分結(jié)果，右邊一列由于切割線錯(cuò)誤導(dǎo)致少了一部分文字。

（合合表格類OCR中文成績單識(shí)別結(jié)果（部分））

7. 薪火表格類OCR薪火OCR的優(yōu)勢在于識(shí)別準(zhǔn)確度很高，基本沒有錯(cuò)誤，不太需要人工核對，但是對于復(fù)雜表格的抽取能力比合合還有相當(dāng)距離，抽取的表格占比較少，大多數(shù)都只是按行返回文字。下圖是中文成績單的識(shí)別結(jié)果，只識(shí)別出圖中一個(gè)表格，并且最左邊一列出現(xiàn)錯(cuò)誤。

（薪火表格類OCR中文成績單識(shí)別結(jié)果（部分））

二、醫(yī)院血液檢驗(yàn)報(bào)告單

1.Google Document AIDocument OCR依然是文字識(shí)別準(zhǔn)確度很高，箭頭也可以識(shí)別出來，但是結(jié)構(gòu)識(shí)別要比國內(nèi)同行距離很大。

（Document OCR醫(yī)院報(bào)告單區(qū)域結(jié)構(gòu)識(shí)別結(jié)果）

（Document OCR醫(yī)院報(bào)告單區(qū)域結(jié)構(gòu)識(shí)別結(jié)果）

2. 百度表格類OCR百度OCR對于更簡單的無表格線表格識(shí)別依然表現(xiàn)不佳，返回的結(jié)果是所有的文字都在一個(gè)單元格里。

（百度表格類OCR醫(yī)院報(bào)告單識(shí)別結(jié)果）

3. 阿里達(dá)摩院表格類OCR和百度OCR一樣，對于結(jié)構(gòu)較簡單的醫(yī)院檢查單，依然無法識(shí)別結(jié)構(gòu)，返回的直接是一個(gè)單元格包含所有內(nèi)容。

（阿里達(dá)摩院表格類OCR醫(yī)院報(bào)告單識(shí)別結(jié)果）

4. 騰訊云表格類OCR對于醫(yī)院血檢報(bào)告單這種列與列之間空間較大的無表格線簡單表格，騰訊OCR識(shí)別的準(zhǔn)確度較高，但對于提示指標(biāo)偏離正常區(qū)間的剪頭符號(hào)也無法識(shí)別，部分結(jié)構(gòu)有錯(cuò)行合并的情況。騰訊OCR返回的結(jié)果實(shí)際上是JSON，與阿里OCR類似，返回的是每個(gè)字段的位置坐標(biāo)，但是在網(wǎng)頁端顯示的可視化結(jié)果里，表前和表后并不是按照位置順序排列。

（騰訊表格類OCR醫(yī)院報(bào)告單識(shí)別結(jié)果）

5. 合合表格類OCR醫(yī)院檢查單的結(jié)果要好于成績單的結(jié)果，但依然存在個(gè)別問題，例如‘提示’和’參考范圍’合并到一列，文字識(shí)別有少于遺漏，箭頭被識(shí)別成數(shù)字1。

（合合表格類OCR醫(yī)院報(bào)告單識(shí)別結(jié)果）

6. 薪火表格類OCR對于簡單表格的識(shí)別比成績單要完整很多，但還是存在大量文本識(shí)別遺漏的問題。

（薪火表格類OCR醫(yī)院報(bào)告單識(shí)別結(jié)果）

三、海關(guān)貨品報(bào)關(guān)單

1. Google Document AI谷歌的對于帶表格線的表格識(shí)別依然不理想，從下圖中可以看出完全沒有分割出表格的單元格，中間整個(gè)表格（橙色區(qū)域部分）被識(shí)別成一個(gè)整體，鍵值對抽取也因此效果極其有限。單純的OCR文字識(shí)別準(zhǔn)確度和之前兩份一樣依然很高，但對于印章重疊部分有識(shí)別錯(cuò)誤，當(dāng)然其他幾家公司的產(chǎn)品對于色彩重疊的字符識(shí)別也都有同樣的問題。

（Document OCR海關(guān)貨物報(bào)關(guān)單區(qū)域結(jié)構(gòu)識(shí)別結(jié)果）

（Document OCR海關(guān)貨物報(bào)關(guān)單文字識(shí)別結(jié)果）

2. 百度表格類OCR百度在識(shí)別有表格線中文表單要好于Document AI，但也有部分結(jié)構(gòu)錯(cuò)誤，例如下圖中，件數(shù)和毛重應(yīng)該是分開的兩個(gè)單元格，結(jié)果中識(shí)別在一個(gè)單元格里，對于有表格線但并存在局部單元格分欄的表格，百度的表格切割會(huì)出現(xiàn)問題。此外還有一些識(shí)別遺漏的問題，并且被印章重疊的部分識(shí)別錯(cuò)誤。

（百度表格類OCR海關(guān)貨物報(bào)關(guān)單識(shí)別結(jié)果）

  3. 阿里達(dá)摩院表格類OCR對于有表格線的文檔，阿里達(dá)摩院OCR識(shí)別結(jié)果比無表格線樣本好很多，返回的JSON文件中按照表格排序，每個(gè)表格中按照字段順序排列，并標(biāo)注字段位置。但對于貨品條目處省略的列分割線，也無法正確理解此類特殊結(jié)構(gòu)。

（阿里達(dá)摩院表格類OCR海關(guān)貨物報(bào)關(guān)單識(shí)別結(jié)果）

 4．騰訊云表格類OCR對于有表格線的識(shí)別，騰訊OCR要優(yōu)于百度OCR和阿里OCR，由于網(wǎng)頁端限制，結(jié)果截屏有限，但從圖中我們依然可依然看出騰訊OCR對于件數(shù)，毛重的識(shí)別是準(zhǔn)確分開的，基本還原了原始表格的結(jié)構(gòu)。

（騰訊表格類OCR海關(guān)貨物報(bào)關(guān)單識(shí)別結(jié)果（部分））

5. 合合表格類OCR對于有表格線的識(shí)別，合合返回結(jié)果非常好，文字準(zhǔn)確率和結(jié)構(gòu)準(zhǔn)確率都很高，但依然還有部分問題，就是對于表格下半部分缺少列分隔線的分列識(shí)別。表格下半部分實(shí)際上是一個(gè)只有行表格線沒有列表格線的表格，但是合合沒有識(shí)別出隱含的列表格線，這也是目前表格識(shí)別都不夠智能的地方。

（合合表格類OCR海關(guān)貨物報(bào)關(guān)單識(shí)別結(jié)果（部分））

6. 薪火表格類OCR薪火對于表格線文檔識(shí)別也非常高，結(jié)構(gòu)上比合合稍差的一點(diǎn)是，對于貨品描述合合是按照原表格結(jié)構(gòu)換行的，但是薪火合成了一個(gè)長字符串，加大了后續(xù)用戶的切割難度。對于印章重疊的部分，薪火的準(zhǔn)確度比合合高一點(diǎn)，但也沒有準(zhǔn)確識(shí)別出‘如實(shí)申報(bào)’以及貨品信息。

（薪火表格類OCR海關(guān)貨物報(bào)關(guān)單識(shí)別結(jié)果）

測評(píng)結(jié)果匯總

以下三張表是七家公司OCR三個(gè)實(shí)驗(yàn)樣本結(jié)果整合，其中文字識(shí)別準(zhǔn)確度是針對識(shí)別到的文字準(zhǔn)確度（OCR正確文字個(gè)數(shù)/原文總字?jǐn)?shù)）。表格完整度指識(shí)別結(jié)果覆蓋表格面積的百分比，表格結(jié)構(gòu)準(zhǔn)確度指準(zhǔn)確識(shí)別表格劃分的單元格內(nèi)容占比。

整體測評(píng)總結(jié)

1. 中英文OCR識(shí)別準(zhǔn)確度較好的是谷歌，薪火與合合，英文文本的識(shí)別準(zhǔn)確度整體要高于中文文本。對表格內(nèi)文字識(shí)別而言，表格樣本結(jié)構(gòu)的復(fù)雜性和文字密集程度會(huì)很大影響文字識(shí)別的結(jié)果，但識(shí)別簡單的表格例如檢驗(yàn)報(bào)告單文字OCR準(zhǔn)確度很高。此外印章也會(huì)影響顏色重疊部分的識(shí)別準(zhǔn)確度，盡管人類可以通過觀察識(shí)別印章下面的文字，但對于機(jī)器來說目前還有難度。整體來說對于結(jié)構(gòu)簡單的表格文檔各家平臺(tái)的準(zhǔn)確度都可以滿足一般文字提取的要求。

2. 英文表格結(jié)構(gòu)抽取能力最強(qiáng)的是Azure Form Recognizer，對英語成績單表格幾乎全部識(shí)別準(zhǔn)確，其次是合合，存在分列不完全的問題，而其他平臺(tái)幾乎不能正確切分無格線的英文表格。對于中文表格，合合整體上識(shí)別得最好。騰訊，阿里對于簡單的表格或者是表格線清晰的表格識(shí)別相對準(zhǔn)確，但是對于復(fù)雜表格的識(shí)別能力較弱。百度對于無表格線的文本識(shí)別比例較低，基本無法識(shí)別出分隔結(jié)構(gòu)。目前，即便是識(shí)別準(zhǔn)確度最好的AI平臺(tái)，也并不能完整準(zhǔn)確地提取出表格結(jié)構(gòu)，如上文所述的大多會(huì)忽視隱藏的表格線。現(xiàn)實(shí)生活中的表格大多數(shù)是半結(jié)構(gòu)化文檔，目前表格類OCR對于這類文檔的理解能力還不能直接滿足用戶使用場景的細(xì)致需求。

3. 由于目前提供文檔鍵值對提取接口的平臺(tái)還只有谷歌云和微軟Azure，在英文表單中谷歌和微軟對于表格頭尾部分有鍵值對強(qiáng)特征（如冒號(hào)，劃線等）的部分可以達(dá)到90%以上的抽取準(zhǔn)確度，但對于表格內(nèi)非常見表格項(xiàng)的各科科目和成績分?jǐn)?shù)的配對完全無能為力。

4. 綜上所述，目前各個(gè)平臺(tái)對清晰圖片的文字OCR準(zhǔn)確度已經(jīng)能夠達(dá)到可信賴的程度，如果針對個(gè)別特殊符號(hào)以及印章遮擋部分進(jìn)行完善優(yōu)化，就可以達(dá)到完全識(shí)別的狀態(tài)。而對于文檔表格和表單抽取智能化和通用性還遠(yuǎn)遠(yuǎn)不能達(dá)到實(shí)用的狀態(tài)，目前僅能對表格線完整，分隔規(guī)則的表格可高精度結(jié)構(gòu)化抽取。

5. 所以各個(gè)平臺(tái)都針對特定應(yīng)用場景的推出識(shí)別模型以支撐最常見的應(yīng)用需求，例如稅務(wù)票據(jù)、身份證件、營業(yè)證照、名片等特定場景和格式的文檔識(shí)別。然而，企業(yè)及各類機(jī)構(gòu)所面對的文檔智能化的場景遠(yuǎn)遠(yuǎn)大于特定的有限類特定格式，如何讓人工智能可以象人類員工一樣高精度地識(shí)別各類表單成為行業(yè)智能化普及進(jìn)程中的關(guān)鍵一環(huán)。

   
   

壹沓科技與人工智能同行們正就多場景、通用化的中英文表單自動(dòng)識(shí)別和鍵值抽取任務(wù)投入大量的研發(fā)資源，并在一些關(guān)鍵問題如字符遮擋、表格鍵值對齊不一致、連續(xù)文本鍵值抽取中已經(jīng)取得不小進(jìn)展。我們堅(jiān)信——通過有效結(jié)合圖像處理、計(jì)算機(jī)視覺、OCR、NLP及知識(shí)圖譜等AI技術(shù)，在不遠(yuǎn)的將來一定能夠使得文檔智能化在各行各業(yè)完整落地，實(shí)現(xiàn)高效算力對重復(fù)勞動(dòng)的全面取代。

關(guān)于壹沓科技

壹沓科技成立于2016年11月，聚焦于前沿技術(shù)在企業(yè)數(shù)字化中的應(yīng)用，公司核心業(yè)務(wù)包括壹沓數(shù)字機(jī)器人產(chǎn)品-Cube Robot和壹沓品牌方程服務(wù)-Formula DBM，已經(jīng)為多個(gè)行業(yè)數(shù)百家企業(yè)及政府提供服務(wù)。

我們在自然語言處理-NLP、圖像文字識(shí)別-OCR、知識(shí)圖譜-KG、大數(shù)據(jù)挖掘-Data Mining、機(jī)器人流程自動(dòng)化-RPA和業(yè)務(wù)流程重構(gòu)及管理-BPR&BPM等領(lǐng)域具備完整的自主研發(fā)能力，已獲得軟件知識(shí)產(chǎn)權(quán)數(shù)十個(gè)。

總部位于上海 ，在北京、深圳設(shè)有分公司，已獲得高新技術(shù)企業(yè)、雙軟及專精特新企業(yè)等專業(yè)認(rèn)證 。核心團(tuán)隊(duì)來自于多家知名上市公司，在企業(yè)服務(wù)及互聯(lián)網(wǎng)從業(yè)超過10年，擁有大數(shù)據(jù)、云服務(wù)及人工智能領(lǐng)域的豐富經(jīng)驗(yàn)。

戳“閱讀原文”了解更多精彩內(nèi)容!