盡管存在質疑，許多公司仍然在通過傳統的市場調查來獲取洞察，而一些技術公司則聲稱能從龐大的原始信息中獲取比傳統市場研究更好的洞察。Rick Kieser指出，兩者必須被整合在一起，否則市場研究將會被邊緣化。 Rick Kieser進一步說明要如何將非結構化文本處理的最新進展納入到市場研究人員的能力范圍內。

駕馭新的數據流

由于數字通信帶來越來越多的選擇，現在, 客戶有無數的方式來分享他們對企業的反饋，包括正面和負面的信息。許多以客戶為導向的企業現在都擁有客戶體驗管理(customer experience management，CEM)或客戶之聲(voice-of-the-customer,VOC)平臺來管理海量的信息流。

與此同時，盡管存在質疑，許多公司繼續通過傳統的市場調查來獲取洞察。而一些在數字通訊領域有優勢的供應商，則聲稱能從龐大的原始信息中獲取比傳統市場研究更好的洞察。

這些不同的領域很少被整合在一起，而市場研究人員也很少使用運營平臺上的客戶反饋作為洞察產生的主要數據源。在這篇文章中，我會闡釋，為什么整合的方法是必須的。如果不這樣做，就像我們所擔心的那樣，市場研究將會被邊緣化。我還會進一步說明，如何將非結構化文本處理的最新進展納入市場研究人員的能力范圍內。

客戶體驗管理(CEM)和客戶之聲(VOC)

對消費者來說，客戶體驗正日益成為唯一有意義的差異化因素。今天，企業對產品設計和質量控制極為重視，這意味著在絕大多數品類上，不同品牌在質量和效用上幾乎沒有差異。線上市場的速度和透明度，使得消費者在價格、使用體驗和聲譽等方面的決策上，更多依賴他人的體驗，即使線下發生的購買行為也是如此。

我們能否更重視品牌信譽的價值?根據一項調查，由于客戶體驗不佳，每年有超過830億美元的商業損失1。在這個充滿活力和瞬息萬變的環境中，營銷人員必須不斷重新審視如何了解和吸引客戶，重新確定渠道優先級，并在所有渠道中保持一致的客戶體驗，同時優化營銷支出。

每項舉措都必須依賴可靠的數據產生高質量的洞察，從而驅動決策。過去，市場研究往往是收集和處理相關信息的唯一可行手段，如今，客戶體驗的每個不同方面通常都有充足的數據，并且能夠很容易地整合在一起。現在，市場研究數據反而與業務有些脫節。

客戶體驗管理(CEM)和客戶之聲(VOC)2行業大約誕生于20年前，兩者最初并不相同，但現在兩個術語基本上是同義的。兩者都專注于在客戶的整個生命周期中，通過自動化的流程，追蹤、監控和管理客戶與企業之間的每個交互。

而企業反饋管理系統(enterprise feedback management，EFM)是研究技術提供商創造的一個術語，用來描述基于調查的反饋征集。 EFM交互通常由客戶接觸點觸發，這使得它成為許多VOC解決方案的便捷數據源。但是，一些VOC計劃并不依賴于調查，而是通過其他方式獲得數據。

2012年至2017年，客戶體驗管理(CEM)行業每年增長近20%，市場規模預計增長近三倍，超過68億美元( Figure 1)。可以對比一下，市場研究行業在2012年的全球收入為390億美元，排除通貨膨脹因素后的增長率只有0.7%4。

我發現，CEM行業增長背后有三個主要驅動因素：

1、企業越來越以客戶為中心。企業意識到，越是能滿足客戶的期望，越有可能成功。

2、企業已經認識到，獲得新客戶比保留現有客戶成本更高(一項研究說， 獲得新客戶的成本最高多達五倍以上5)。

3、目前，技術能夠方便地跟蹤廣泛的客戶觸點上的客戶交互，并形成洞察。

這些趨勢導致客戶反饋如海嘯般迸發。如果公司打算利用這些客戶反饋，必須將其轉化為洞察。對每個行業來說，它是新的原材料，如果以正確的方式加以處理和應用，數據會產生巨大的價值。但是，如果不努力從中獲取洞察，數據就只是簡單的累積，不會對公司的發展有任何幫助。

市場研究面臨的挑戰和新來者的困境

在市場研究和企業反饋管理系統(EFM)中，客戶反饋的傳統范式依賴于以調查為基礎的介入，這種介入是企業指導和管理的。最初，隨著在線調查和社區(MROCs)的出現，數字通信的興起只是增加了獲取客戶反饋的渠道。但是現在，隨著社交媒體的興起，消費者在各種渠道上變得越來越健談，而這些渠道是市場營銷人員無法控制的。例如， 即使沒有要求，客戶也會通過Facebook、Twitter、TripAdvisor等評論網站和個人博客，和外界分享他們的各種體驗。

這種大量的自發反饋，挑戰了傳統市場研究的方法。在傳統市場研究中，樣本是受控制的，問題也是精心構造的。這就形成了一個以高級分析技術為基礎的新的競爭環境——分析大量的非結構化的數值和文本數據。在新的競爭環境下，新來者扮演著數據提供商和知識管理公司的角色，其方法和傳統研究公司截然不同。

由于處理海量數據以及高度的非結構化特性是大數據最大挑戰之一，因此，在形成洞察上，新來者想逆轉卻是很困難的。雖然技術能夠管理巨大的數據流，但大量的內容都是和數值數據連在一起的原始文本，因此，我們必須使用一些工具，這些工具要能夠同時理解主觀變量和客觀變量，也就是文本和“硬數據”。

不同文本洞察技術的優劣勢

和CEM軟件一樣，文本分析軟件也達到了很成熟的程度。文本分析軟件主要基于一種被稱為自然語言處理(NLP)的底層技術。由于這種方法在商業軟件中占據主導地位，從而掩蓋了另外兩種互補的文本處理方法。其實這兩種方法也很有價值，在某些情況下，它們更適合處理大量的反饋數據。

自然語言處理(NLP)

NLP或文本分析背后的技術，是使用詞匯、字典以及相應的一系列確定性規則，將相似內容的回答集合在一起，以識別特定主題或識別情緒，如正面或負面情緒。當用作詢問或審訊工具時，NLP特別適用于發現其在大數據集中的意義或情緒。在開發分析框架(一種稱為文本挖掘的方法)時同樣適用。

為了達到可接受的精確度水平，需要受過很好訓練的人力投入來詮釋內容，并通過編寫附加規則來改進主題和情緒提取。這種優化過程費時費力，而且常常被人們省略掉。

機器學習(Machine learning)

NLP的一個可行的替代方案是機器學習，這是一種人工智能方法，它從手動編碼的學習樣本(training examples)中自動學習如何對文本進行分類和解釋。隨著越來越多的學習樣本被提供，總體的準確性在不斷提高。

機器學習特別適用于大規模的重復性工作，可以自動運行，一旦接受訓練，只需極少干預。因為需要一個訓練集(每個主題或類別通常需要20個樣本)，初始投入更適合大規模或連續性項目;然而，一旦運行，與NLP不同，它不需要持續投入昂貴的人工詮釋或技術。與NLP相比，機器學習是一種較低成本的自動化解決方案。

半自動或計算機輔助編碼(Semi-automated or computer-assisted coding)

自動輔助的方法可以智能化地進行工作，它是在一個整體的組織結構中，通過使用強力搜索、模糊匹配來對客戶評論進行分類，并優化人工決策。可以說，這種方法會產生最準確的結果，但是它不能很好地擴展。投入會隨著工作量的增加而線性增加，管理負擔也呈指數級增長。這種方法與其他方法相比，除了較低的容量外，成本也很高。

如果一家公司正在從單一來源分析相同類型的客戶反饋，一種技術可能就夠了。然而，在當今多樣化和數據豐富的環境中，這種情況很少。在處理多個渠道的反饋(包括企業發出的和自發的)時，最大的挑戰在于其特征的多樣性。可以拿自行車作類比：如果要騎行的道路平坦而筆直，一輛單速自行車就可以了。然而，如果是復雜多變的地形，變速自行車將使旅程更輕松，更快捷，更有效率。

例如，與Facebook更新相比，轉錄電話會顯示出非常不同的語言使用，客戶調查中的評論與酒店評論網站上發表的評論也大不相同。由于模糊的內容和嵌入的交叉引用，Twitter上的評論又完全不同了。每種類型的語言需要不同的解決方案。根據我的經驗，即使大公司也難以找到有效的解決方案，因為存在普遍的錯誤認識：單一技術(通常被認為是NLP)可以適用于所有情況。

分析不同渠道的客戶反饋，面臨不同的挑戰

為優化客戶洞察，在實施任何有效的VOC或CEM方案時，都需要平衡五個方面的因素，即：

方案的目標

反饋渠道類型

部署的洞察技術

成本約束

客戶反饋的數量級

詳細闡述這些考慮因素超出了本文的范圍，我會把重點放在主要的考慮因素上。需要結合各種技術來讓各種渠道的反饋更易于管理。要理解這一點，你必須了解你的反饋渠道以及你的文本洞察技術，然后將這些渠道與最合適的技術相匹配。

任何企業都有可能擁有廣泛的反饋渠道。每一個都具有非常不同的特征，從分析的視角看，各具挑戰。

社交媒體評論的數量非常之多，但很難解釋，因為它們往往是特定情景下很隱晦的表述，充斥著難懂的術語，甚至很多具有反諷含義。盡管如此，社交媒體依然是洞察的重要來源，有助于公司快速響應事件和新情況，應對危機和各種趨勢。

而調查數據則容易解釋得多，因為問題是預先確定的，答案更加聚焦。獲取調查數據的高成本通常意味著數據量不大，因此，在收集的數據中不會存在薄弱或突發趨勢。

呼叫中心的記錄可以提供大量的反饋，而且相對容易理解，但它們是中介信息，并且可能由呼叫中心坐席員總結過。相比之下，呼叫中心的音頻可能比較難理解，通常需要先進行文字轉錄，以便容易使用。

市場調研在線社區的數據通常都是基于文本的，但數量相對較少。從表面上看，格式很像社交媒體的格式，但它容易解釋得多，因為內容是被訪者仔細考慮過的，通常聚焦于特定情境。

在許多方面，入站電子郵件，就其形式和結構而言，處于這些信息渠道的中心位置。客服電子郵件可以是高度結構化的，有一系列的問題和答案，與一項調查沒有什么不同。

在尋找適用于每個渠道的合適工具和方法時，必須理解特定企業中可用的反饋渠道的特征。兩個最有價值的變量是數據量(volume of data)和闡釋渠道信息的難度(difficulty of interpreting the channel)。對其進行分析，能看出在規模上，要完成的工作存在很大的差異。圖2概括了這一結果。

將技術與反饋類型相匹配

最后一步是將最佳技術與反饋類型相匹配。圖3顯示了在綜合考慮兩個相同的變量——數據量和解釋難度的情況下，在成本效益方面，三種不同技術方案的的最佳范圍。

NLP可以處理大量的數據，但由于它是一種挖掘工具，而不是一種解釋工具，它更擅長提供快速的方向性洞察。 NLP不太適合對特定內容進行細致的分析，當存在多種反饋渠道時，效果就比較差，數據也很難解釋。

在處理大量文本時，機器學習的效果最佳，增加工作量的邊際成本可以忽略不計。因為它是通過特定背景的樣本來訓練的，一旦它有了一套有效的學習樣本，它就有能力解釋難以識別的概念或情緒。

當應用到一個新的反饋渠道上，這兩個自動化的方法都需要付出很多投入，無論是調整NLP的規則或字典，還是機器學習的訓練和驗證。

半自動化方法非常適合內容難以解釋的渠道，因為需要人腦參與確定內容的意義。另外，不像自動化方法那樣，半自動化方法門檻不高，因此數據量不大時成本低廉。對于數據量大的渠道，半自動化的方法需要平衡其成本和收益。

如果你只使用一個單一的渠道，就有可能找到一個最優的解決方案。然而，有三到四個不同的渠道，你肯定不能靠一輛單速自行車來面對各種復雜地形(回到我之前的比喻)。這不是自動文本處理的固有缺陷，相反，謹慎的組合方法實際上構建了更強大、性價比更高的解決方案，每一項技術都發揮了最佳特點。

這意味著，你不僅可以優化時間和質量，而且，通過將人為干預集中在幾個能發揮最大價值的小領域，你還可以降低成本。例如，將目標聚焦在質量控制上，或者讓分析師解釋自動文本挖掘報告。

開啟未來的洞察

由于客戶洞察實施和客戶反饋渠道目前是不一致的，而且經常脫節，在這個背景下，企業如果充分評估他們的內部需求，并且不滿足于次優的技術解決方案，就可以開始著手構建高效的技術解決方案來整合各種反饋。目前的技術已經可以讓不同的反饋渠道信息(主動征集的和自發的)轉化為及時的、可行動的洞察。當然，這需要一些投資，但結果可能是非常有價值的，在一個財政周期內，可以預期會有一個很好的回報。

據哈佛商學院報道，客戶保留率提高5個百分點，企業利潤會提高25%到95%6。而我在這里討論的技術上的投資可能只是收入的百分之一。

好消息是，最好的還未到來，技術在不斷進步。企業現在可以選擇各種有效的工具，組合使用來管理他們的客戶反饋流。市場研究人員擁有更豐富的數據資源可用，來補充調查數據(survey data)和傳統的硬的大數據反饋(hard number big data feed，指銷量等傳統的交易數據)。我相信，若干年后如果我們回顧今天，會驚訝：我們只是開啟了待發掘的潛在洞察中很小的一部分。