“現在是收集情報數據的黃金時代，因為所有人都在自覺自愿地表達他們是誰?！盋IA前分析師Ross Stapleton-Gray

真的想知道，那些腦子好用，智商絕高的人才，都去哪兒了？什么樣的工作才能吸引到那些高智商的天才呢？

大數據需要大智慧

在商言商，大家都偏愛用數據說話。可是直到今天為止，被公認有極大價值的數據依然得不到任何智能化處理上的進步。面對不斷以加速度膨脹的大數據，一直在讓數據更智能的路上舉步維艱?？墒?，還能這樣眼睜睜看多久？

即便是在最頂尖的企業機構里，數據分析依然是個無法靈活變通或具有針對性價值的東西。大部分企業能做的是把數據集中起來，美名其曰“數據庫”當人們希望通過數據了解目標人群的某個分布趨勢，期望對市場做出預見的時候，還是只能去“討好”那些專門搞數據分析的主。

編輯、作者: Vivian Peng @DamnDigital
Cover Image: Wang Qi@DamnDigital
(原創內容，轉載請注明來自DamnDigital)

不過，至少有一點已經基本毋庸置疑：數據分析技術，真的可以預測，我們下一步要做什么。

幾年前，筆者就不斷思考一個問題：為什么互聯網發展如此迅猛，而數據卻不能變的更聰明一些？

假設你手上有一堆好用的舊書，實在放不下，又不舍得扔掉，與此同時，在世界的某個角落，一群小朋友希望看書而沒有能力或者根本沒有書可看，此時此刻，你和這群小朋友是真正對的上口的供需雙方，可你們彼此完全不知道對方的存在，或在哪里。 是的，也許你可以上網，搜索搜索，或者去百姓網發帖子？ 這么多年來，這種被動的方法，直到今天，還是唯一我們所能做到的，最多，只是搜索的數據更為精確一些而已，可我依然無法更快更有效地找到真正需要的對方。從這個意義上說，數據和相關數據之間，依然不能很好地相互感應并對接上。

如果我們曾經所說過的Web3.0時代，語義網一切都將悄然來到，那么至少需要先實現一個前提：數據的相互關聯能順利地實現。這是一場非常非常重大的革命。

在今天這個信息時代下，數據可以幫助我們認識一切，甚至預測到未來。數據分析的進步為所有人帶來更為精確，個性化的信息資訊。比如，GPS幫助我們駕駛正確路線，LBS告訴我們附近哪里有咖啡店，銀行，餐廳。

數據對于服務業的未來發展有著至關重要的影響力。數據可以幫助我們提前察覺各類社會問題和事件。它可以前所未有地將世界各個角落的人相互連接起來，滿足彼此的需要，互補聯合。有了數據分析，還能為我們帶來更多意想不到的好處?？偟膩碚f，數據，幫助我們更好地認識需求，更有針對性地解決需求。讓我們生活在一個供需雙方彼此良性循環運作和對接的世界里。

怎么說？

數據什么都知道——作用于公共服務領域的智能數據

公共服務領域往往是歷史上任何一個普及性轉變到來前搞起動作的一個“預告牌”。在現代國家體制的任何地區，國家，自上而下是目前唯一的普及運動形式，歷來都是如此，創新技術領域，更不例外。

SecureAlert: 用數據抵御犯罪，保衛和平

總部位于美國猶他州桑迪市的SecureAlert公司是一家GPS定位技術的提供者，該技術使得警察和法院能夠實時跟蹤和監控犯罪分子，另外這項技術還有助于執法者提前預測犯罪行為。

根據Steve Florek的介紹，他是該公司負責罪犯剖析和知識管理業務的常務董事：SecureAlert公司提供的內置GPS功能的腳環可用于跟蹤預審被告、假釋罪犯和緩刑罪犯。例如，一個偷車賊在汽車經銷商附近逗留很長時間，或者性犯罪分子在學校周圍長時間游蕩，SecureAlert的監控中心就會標識一面虛擬紅旗來提醒執法者采取相應的預防措施。

SecureAlert目前跟蹤大約3000個美國罪犯并正在向國際化擴展，其服務運行在微軟SQL Server平臺之上，根據Florek介紹。但是不斷增長的業務開始涉及到可擴展性問題，大約一年前，它求助于ParAccel公司緩解這個問題。

SecureAlert服務的預測原理適用于任何時間內檢測到的犯罪分子活動的不尋常模式。例如，SecureAlert監控中心曾經發現一個加州的假釋者每天下午2點左右都出現在同一個路口。進一步調查顯示，該路口是一個學校巴士停靠站，Florek說。于是這個情況被“升級”到更高的層級并且將該情況通知給當地警察部門。Florek說他的公司正致力于通過進一步自動化從監控到地理位置調查的過程來增強系統的預測能力。

“對于我們這樣規模的公司，我們產生了大量的數據。目前我們每天大約有一萬宗交易，”Florek解釋到：“在未來一天24小時內不斷地向你推送這些數據，并且往往是相當單調和重復的，因為一個GPS軌跡不同于其它數據，通常只是一個非常小的變動量，最新的一般是最有用的和最有意義的。”

Florek為這項工作考察了許多數據庫工具，包括列式系統和行式系統。Florek考察的工具包括Oracle BI Enterprise Edition以及Teradata、Netezza和Vertica等公司的軟件。

Netezza公司首先被淘汰出局，因為Florek和他的團隊認為該產品的數據壓縮功能需要改進。Oracle、Teradata、Netezza和Vertical由于價格因素均被淘汰。 而ParAccel公司讓客戶以更少的硬件和軟件開展工作，因而比其他廠商具有更低的價格。Florek也很喜歡ParAccel公司愿意添加一些自定義的空間技術。

Florek表示，ParAccel的列式數據庫技術是一個巨大成功，盡管實際上ParAccel可以使用更多的管理工具，比如來自第三方供應商或其自身。在與ParAccel公司合作大約一年之后，SecureAlert立即緩解了其性能瓶頸。該公司目前正在使用ParAccel作為其預測監控計劃發展的基礎。

從治安管理系統到FBI、中情局：來自美國政府的渴望~

據國外媒體報道，美國聯邦執法部門和情報機構在網上發布的信息征集啟事顯示，美國政府正在尋找一款能夠分析社交媒體海量數據，并預測未來恐怖主義襲擊和國外暴亂等重大事件的軟件。

FBI透露它希望借助數據工具來掃描和分析整個社交媒體中的龐大數據。美國國防部和情報局總監辦公室（Office of the Director of National Intelligence）也已向私有企業求謀良策，希望利用社交媒體上人們每日共享的數十億條帖子來識別可能會發生的突發事件，例如恐怖主義威脅和騷亂活動。

在情報界，分析公眾信息并不是什么新鮮事。例如，在冷戰時期，美國中央情報局（CIA）的特工人員就經常閱讀俄羅斯新聞報紙，攔截他們的電視和廣播節目，企圖推斷蘇聯領導人正在想什么。

在過去幾年中，社交媒體的崛起極大地改變了公眾信息的數量和類別。Twitter CEO迪克-科斯特羅（Dick Costolo）在最近一次會議中聲稱，該微博網站的用戶平均每三天發布10億條消息。

“現在是收集情報的黃金時代，因為所有人都在自覺自愿地表達他們是誰?！盋IA前分析師羅斯-斯塔普勒頓-格雷（Ross Stapleton-Gray）說。在20世紀90年代初，格雷供職于CIA總監辦公室。他現在是一名技術顧問，為公司提供安全、監控和隱私等方面的建議。

格雷聲稱，美國情報機構早期收集互聯網信息的努力，遭到了一些元老級人物的阻擾，他們堅信機密信息比任何人均能夠獲取的互聯網信息更有價值。但是，這些機構尋找最佳社交媒體分析工具的做法表明，這種阻力已經大大減弱了。

美國情報局總監辦公室下屬的研究部門致力尋找的軟件系統，將會融合網絡研究到維基百科編輯到流量監控等各種功能，而且將能夠預測未來可能發生的重大事件，包括從經濟混亂到瘟疫爆發。

美國國防部尋找的工具將跟蹤社交媒體，監測那些可能影響作戰士兵情緒的信息的傳播，并讓軍方在社交網絡上執行“有效的網絡作戰方案”，打擊各種敵對活動。美國情報局總監辦公室和國防部聲稱，他們不會在美聯社要求的期限內回答有關這項提議的具體問題。

FBI正在尋找一款網絡應用程序，這款軟件必須能夠自動地挖掘社交網絡，尋找有價值的線索，從而讓該機構能夠在犯罪分子在谷歌地圖等界面上搞陰謀破壞活動的時候，能夠及時地出面制止。

img source: New York Times

Splunk： 數據分析絕對是份時髦的工作

一家名為Splunk的創業公司在舊金山的辦公室是時下年輕最為追求和羨慕的那種時髦工作空間，堪比Facebook和Zynga,工程師們在寬敞開闊的大廳里工作，邊上還有幾臺彈子機、臺球、桌上足球、還有Hello Kitty 主題的辦公室。工作時間不時會搞Party,聚會什么的。

難怪他連續四年被評委“最佳雇主”。

什么是Splunk？

Splunk是一個功能強大的日志管理工具，它不僅可以用多種方式來添加日志，生產圖形化報表，最厲害的是它的搜索功能 – 被稱為“Google for IT”。Splunk有免費和收費版，最主要的差別在于每天的索引容量大小（索引是搜索功能的基礎），免費版每天最大為500M。在使用免費版時，如果在30天之內，有7天的索引數據量超過500M，那么就不可以在搜索了（真是可惜?。。?。根據你的需要，你可以選擇購買每天的索引容量大小。

2004年硅谷開始討論大數據這個詞，當時Splunk就已經創建，到現在他們約有3200家客戶，遍布全球75個國家，其中一半以上為《財富》100強公司。比如社交游戲公司Zynga通過該公司的軟件監測游戲功能，用來確定玩家卡在什么地方，離開游戲，然后就可以即時調整游戲，挽留玩家。

Splunk只是從事大數據（big data）分析業務的企業軟件創業公司之一。有一些長期被甲骨文和IBM等公司控制的領地正在受到這類創業公司的挑戰。

大數據讓風投們也垂涎三尺。Twitter、LinkedIn等社交網絡不斷飆升的估值讓投資者們蠢蠢欲動，但現在投資者們越來越關注那些為其他公司開發軟件的公司。來自Gartner的數據顯示，2010年全球企業軟件收入達到了2440億美元。有些投資者認為Splunk這樣老謀深算的創業公司也能在這個市場中分一杯羹。

Splunk在創建之初就獲得了4000萬美元投資。當時人們認為所有需要解決的問題已經解決了，因此大公司不可避免地要瞄準企業級產品市場的空白，但Splunk面對企業問題不落窠臼，并創造了一個有價值、有顛覆性的平臺。這或許就是他們的魅力所在。

“有很多投資都在瞄準這個由非結構化數據構成的新世界，我認為Splunk具有先發優勢，因為這一行我們已經做了好幾年了。”Splunk CEO Godfrey Sullivan說到。

Splunk CEO介紹Splunk

Splunk + Machine Data Operational Intelligence

美國國務院前任官員、海軍分析中心（Center for Naval Analyses）現任分析師威廉姆-邁坎茨（William McCants），負責監測網上的“基地”組織的宣傳片。他聲稱擔心FBI和其他機構尋找的系統會讓他們過度地依賴于技術，而不重視培訓人類分析師。目前，人類分析師仍然更擅長于鑒別最重要的細節。

“你使用的數據越多，軟件越復雜，你得出的結論就可能越平庸?！币驗榕笥阎g喜歡開玩笑?！澳悴灰欢ㄒ顷慣witter才知道埃及正在進行革命?！?/p>

Palantir 了不起的創新例子在數據分析行業更是屢見不鮮

“一位投資者曾問我，這究竟是家公司，還是邪教組織？我看起來過得并不太像邪教領袖吧！——Palantir的創始人Mikr Firkri說道 ”

你還不知道這家公司嗎？

從阿富汗特別行動，到追蹤佛羅里達的銀行欺詐案，控制全球警察與保安所使用的千里眼和順風耳的都是這家公司——Palantir干的！

也就是這個家伙：

photo source: business week

Palantir由前PayPal員工和斯坦福的一群科學家創建于2004年，為政府機構和金融機構提供高級數據分析平臺。主要用戶都在首都華盛頓，來自政府的業務占到了70%，其余業務主要來自私人金融機構。

2005年，當Alex Karp為自己的創業公司Palantir（視眼石）推銷給投資商們，渴望獲得融資時，很多投資者都拒絕了。

Palantir究竟擁有什么呢？具體來說，是一套數據分析技術平臺，可以同時掃描多個數據庫，政府官員和公司可以通過這個工具解決復雜問題。用此技術，可以將所有相關的人物和其它當事人，涉及人建立起聯系，從而看到這一群人之間在做些什么，傾向于做什么，以及將會做什么。

Palantir的基本要點就是收集大量數據，幫助非科技用戶發現關鍵聯系，并最終找到復雜問題的答案。該產品源自PayPal，最初用做反欺詐措施：Palantir平臺把人工算法和強大的引擎（可以同時掃描多個數據庫）整合到了幾近完美的境界。

Palantir有兩種服務：分別面向政府和金融機構。其基本系統像是好萊塢間諜恐怖片里的軟件那樣，可以同時處理大量數據庫，并允許用戶通過多種方式快速瀏覽相關信息。和PayPal模式不同，Palantir還對各種安全問題高度敏感。

和很多競爭對手不同，Palantir強調自己并不提供服務，永遠是一家產品導向型公司。

這種對旗艦產品精益求精的執著精神在Palantir處處可見。比如，公司每個月發布一次軟件更新（政府類產品），工程師們利用元素周期表中的元素來命名這些更新，并設計專門的T恤加以紀念。以工程師為本的公司文化進一步強化了這種精神，實際上所有員工都是27歲上下的工程師。辦公室里有大大的豆袋椅，一群寵物狗，戰棋游戲，《光環（Halo）》游戲，一套健身器材，Carebears油畫，甚至還有一臺泡泡機，當有人進入辦公室的時候，它就會吐泡泡。

今時今日，資金，對他們來說，已經完全不是什么問題。

Ushahidi 了不起的地圖映射協作模式

Ushahidi是東非肯尼亞的一個開源數據分析平臺，今天，它已成為海地和智利地震的“英雄”，為我們昭示了人道主義的未來，以及事實真相的新觀念和新特性。

2007年，肯尼亞爭議不斷的選舉落幕后爆發了暴力事件。從南非回國投票的著名肯尼亞籍律師兼博主奧里·奧克洛（Ory Okolloh）對選舉進行了評論，因此遭受威脅，只得返回南非。她在網絡上發表文章，提出建立網絡地圖映射工具的想法，以便人們可以匿名報道暴力事件及其它違法行為。一些擁有技術的人看到了她的文章，便聯系了她，一起用了一個周末的時間，打造出了Ushahidi網絡平臺。

Ushahidi收集有關暴亂、難民、強奸、死亡等事件的短信報告，并按照報告者提供的位置在地圖上標明這些事件。與新聞報道和選舉監督機構相比，Ushahidi可以在更短的時間內收集到更多的證據。

當海地發生地震后，Ushahidi再次行動起來，通過廣播公布了手機短信緊急求助號碼，結果收到了數千條有關被困人員的信息。散居在美國各地的大量海地裔美國人翻譯了這些信息，并把它們標注在“危機地圖”上。而在弗萊徹法律與外交學院（位于波士頓郊外的梅德福地區）的災情觀察室里，Ushahidi志愿者們向海地的美國海岸警衛隊發送即時消息，告訴他們搜尋地點。在智利地震中，Ushahidi同樣發揮了作用。

地圖映射協作模式存在許多缺點，比如虛假和夸張信息，但隨著數據的匯集，危機地圖能夠揭示出隱含的實際情況：颶風在陸地上移動了多少英里？強奸案大體上是隨機分布還是集中于軍營附近？

Ushahidi展示了一種新的人道主義工作模式。在一對多的舊模式下，外國記者和援助人員前往災禍地區進行報道，并按照手中或多或少的資料分配援助物資。而在多對多的新模式下，受災者提供現場資料，自我組織的全球志愿者進行翻譯并協助安排援助物資，記者和援助人員則使用這些資料展開有針對性的行動。

此外，Ushahidi還代表了新的創新領域。擁有大學、金融家、資深顧問、技術移民和強大專利的硅谷一直是無與倫比的創新楷模，而Ushahidi則來自不同的世界，在那里企業家出身貧寒，創新者致力于用更少的錢做更多的事，而不是售賣那些經過改進的新玩意兒。

因為Ushahidi是在危機中誕生，所以沒人試圖去申請專利從而壟斷它；因為肯尼亞國家貧窮，許多人接觸不到電腦，所以Ushahidi的系統便以手機為基礎；也因為沒有風險資本的支持，所以Ushahidi使用開源軟件，并因此免費讓他人修改其網絡地圖映射工具來進行新的應用。

隨著新應用的不斷涌現，Ushahidi正悄悄地改變著悲劇事件證據的概念。長期以來，提供事件證據的先是進行實時報道的記者，然后是受害者或作家，最后是歷史學家。但在如今這個瞬時時代，此類證據變得夠快、夠多、夠好、且夠廣泛。

負責Ushahidi危機地圖映射工具運作的弗萊徹學院學生帕特里克·邁耶（Patrick Meier）表示：“我們已超越了信息非假即真的觀念?！?/p>

從大數據的智慧，到集體協作式的商業智慧

看到了嗎，所有這些在數據分析領域先行起來的創新者們，雖然各自所做的東西都不盡相同。發展的路徑也大相徑庭，只是，他們在今天之于社會與人類的意義，以及對于人類共同未來的價值與回報，卻有著非常微妙的相似。

比如，他們都獲得了最豐厚的多家頂級投資公司的大力支持。

比如，他們今天都擁有一群全世界頭腦最好用的伙伴們，各個領域的高智商頭腦，頂級技術達人們，都無怨無悔地跟著這些創新者們每天挖掘一些新的可能，一點一點……

究竟是什么人在推動者數據分析行業的發展呢？除了這些少數個人的極大推動之外，其實人人都可以成為貢獻者之一。

Sparked.com的故事：集體智慧與互助分享

一位美國約翰·霍普金斯大學傳媒系本科生，在學習期間，他對“新媒體與社區服務”課題產生興趣，繼而推出網絡平臺www.sparked.com，嘗試讓忙碌的現代人用微博行善。該平臺的原理很簡單：先由基層慈善組織發出求助帖，簡要說明志愿任務。接著網站將任務分類，并以微博形式傳給對口志愿者。志愿者利用手機解答問題，同樣以微博形式回復平臺，一次“微志愿”活動就此完成。

在Sparked社區里，有人會發帖進行求助，你可以加入任何一個問題小組，貢獻出你的點子，建議，經驗，信息，與其他用戶一起幫助解決問題，或者一起完成某項計劃。

以最新實例來說明。有一家NGO向墨西哥貧民提供無息小額貸款，最近他們收集到了許多申請，但都是當地農民們用西班牙語寫的。NGO沒有請人翻譯的預算，便將原文發上網絡。幾天之后，就被志愿者陸續翻譯為英文。參與者既有高校學生，也有大公司職員，他們都是利用片刻閑暇，用手機逐句翻譯的。愚公移山、為人民服務、白求恩大夫的國際主義精神，“慈善微博”一樣不少。

Micro-Volunteering 微型志愿服務

這是來自于sparked的聯合創始人Ben在TEDXNASA上針對Micro-volunteering所作的演講：

TEDxNASA – Ben Rigby – Micro-Volunteering – Giving Back for Busy People
這不是什么宣揚精神文明的心靈雞湯而已，更重要的是，這是一種全新的商業模式，一種集體智慧協作下的商業創新模式

idealist社區 分享創意點子，做個新型的志愿者吧！

在這里，你可以分享你的每一個小小的點子，志同道合的人會來找你，與你不謀而合的伙伴會在世界的另一個角落里在這里與你相遇，對你的點子有興趣的朋友可以與你聯系上，一起商量商量如何把點子發展，實現出來……

勿以善小而不為。

除了idealist,sparked這樣的集體智慧互助社區/項目之外，以上所有的成功例子，都在告訴我們，一切創新的開始的，往往都是由一些小的點子，項目，實踐中開始的。這也是我們互動中國一直想要為之努力的一個愿景，希望盡可能找到更多的具有創新力量的點子，項目，什么都行，把一切微小的力量聚集起來，成為一股影響力。數據的影響力正是來自于每一個人的貢獻。創新的變革不也同樣如此嗎？

參考資料：

• SecureAlert

• Splunk

• Palantir (這個網站，國內是徹底不能進入的。)

• Ushahidi

• New York Times

• Sparked

• Volunteering UK

• idealist