作者 | 網(wǎng)易杭州研究院設計部、網(wǎng)易數(shù)帆編程語言實驗室

策劃 | 蔡芳芳

自 2020 年來，網(wǎng)易數(shù)帆探索可視化低代碼編程已兩年有余，打造了 CodeWave 智能開發(fā)平臺（原輕舟低代碼平臺）用于企業(yè)應用開發(fā)。然而，不少編程技術(shù)人員對這一領(lǐng)域還比較陌生。我們開設《低代碼技術(shù)內(nèi)幕》專欄，旨在討論低代碼編程領(lǐng)域中的困難、問題，以及高效的解決方案。本文為第四篇，將介紹基于凈推薦值（Net Promoter Score，NPS）和結(jié)構(gòu)方程模型（Structural Equation Model，SEM）方法的低代碼用戶體驗管理體系。SEM 側(cè)重從定量的方法，通過用戶側(cè)視角、數(shù)據(jù)驅(qū)動，量化各級指標對于 NPS 的貢獻度（權(quán)重）。在本文中，我們將展示 SEM 在搭建指標體系中的關(guān)鍵步驟，并給出使用 SEM 結(jié)果改良用戶體驗的方法。

專欄內(nèi)容回顧：

低代碼編程及其市場機遇剖析 | 低代碼技術(shù)內(nèi)幕

基于 Vue 和 Canvas，輕舟低代碼 Web 端可視化編輯器設計解析 | 低代碼技術(shù)內(nèi)幕

面向數(shù)字化提質(zhì)提效的低代碼架構(gòu)設計 | 低代碼技術(shù)內(nèi)幕

凈推薦值、結(jié)構(gòu)方程模型和它們的價值

我們首先簡要地說明凈推薦值和結(jié)構(gòu)方程模型的價值，讓讀者對它們“是什么、有什么用”有一個比較具象的理解。

凈推薦值和其價值

凈推薦值（Net Promoter Score，縮寫為 NPS）主要通過一個單一的問題，來測量用戶 / 客戶（后文簡稱用戶）向他人推薦某個企業(yè) / 產(chǎn)品 / 服務可能性。

具體的測量問題如下，向用戶詢問：

“您有多大的可能將 XX 產(chǎn)品和服務推薦給身邊的同事或親朋好友，0 分表示非常不推薦，10 分表示非常推薦”

按照用戶不同的打分，將用戶分成三組人群：

• 推薦者：打 9 和 10 分的用戶；
• 被動者：打 7 和 8 分的用戶；
• 貶損者：打分 0-6 分的用戶。

最終產(chǎn)品 NPS = (推薦者人數(shù) – 貶損者人數(shù)) / 受訪者總?cè)藬?shù)。

已有許多研究表明，NPS 與商業(yè)結(jié)果強相關(guān)：提升 NPS 能有效降低客戶流失率、提升復購率、提升市場占有率。例如：

• 美國云計算管理公司 Rackspace，其 NPS 監(jiān)測數(shù)據(jù)顯示，NPS 值提升 20% 后，客戶流失率下降了 30%。
• 百度智能云 NPS 監(jiān)測數(shù)據(jù)顯示其 NPS 連續(xù)三年逐年提高，而其市場占有率也逐年上升。

Temkin Group 的研究結(jié)果顯示：

• 客戶的打分越高，越可能在這家公司產(chǎn)生購買行為，打分數(shù)與購買行為的 相關(guān)系數(shù)高達 0.81（相關(guān)系數(shù)絕對值的區(qū)間為 0-1，越接近 1 說明相關(guān)性越強。）
• 與貶損者相比：
• 推薦者的復購率是貶損者的 5 倍。
• 推薦者對公司行為的容錯度是貶損者的 7 倍。
• 推薦者購買公司新品或者增值服務的可能性是貶損者的近 9 倍。

結(jié)構(gòu)方程模型和其價值

在許多用戶體驗管理體系中，為了量化抽象概念，需要建構(gòu)指標體系、確定各級指標權(quán)重，以 NPS 為核心的用戶體驗管理體系就是這樣的一種分級指標體系。次級指標的拆解、指標的信效度、及其權(quán)重的準確性，就成為該項工作的重中之重。

由于產(chǎn)品不同，用戶群體不同，對同一抽象概念所構(gòu)建的指標體系，無論是在框架還是在權(quán)重分配上都會有差異，甚至大相徑庭，不會有一個統(tǒng)一的方案。在一些垂直細分的行業(yè)內(nèi)，部分指標系統(tǒng)的構(gòu)建是通過訪談行業(yè)專家（如相關(guān)公司產(chǎn)品負責人）來進行歸納的，這些來自專家側(cè)視角指標權(quán)重劃分當然很重要，操作成本也相對簡單，不失為一種高效的操作方法，但也可能存在專家意見不一、指標系統(tǒng)缺乏用戶側(cè)視角的問題。

結(jié)構(gòu)方程模型（Structural Equation Model，簡稱 SEM）是基于變量的協(xié)方差矩陣來分析變量之間關(guān)系的一種統(tǒng)計方法，是多元數(shù)據(jù)分析的重要工具。它旨在使用反映潛變量和顯變量之間關(guān)系的一組方程，來盡量縮小樣本協(xié)方差矩陣與由模型估計出的協(xié)方差矩陣之間的差異。SEM 可以從顯變量中推斷潛變量、測試假設模型的正確性、提供修改模型的指導建議。與專家評分相比，SEM 彌補了缺乏用戶視角的缺憾。

構(gòu)建以 NPS 為核心的用戶體驗管理體系

低代碼產(chǎn)品的用戶體驗管理體系的終極目標是達成商業(yè)結(jié)果、推動商業(yè)成單，因此我們使用了同商業(yè)結(jié)果強相關(guān)的 NPS 作為低代碼的北極星指標和一級指標。

指標說明

NPS 會受多種因素的影響，我們通過專家訪談、用戶調(diào)研、頭腦風暴、桌面研究，最后梳理出 5 個二級指標——產(chǎn)品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知——作為低代碼產(chǎn)品的核心驅(qū)動因素，以及 21 個三級指標作為測量指標。

低代碼易用性指標的來源主要分為兩大部分：第一部分主要結(jié)合了可視化編程領(lǐng)域的經(jīng)典文獻——《Usability Analysis of Visual Programming Environments: A ‘Cognitive Dimensions’ Framework》，它針對可視化編程系統(tǒng)提出的“認知維度”可用性分析框架，對科學地衡量與分析可視化編程系統(tǒng)很有幫助 [1]。第二部分則主要借鑒國內(nèi) B 端云計算產(chǎn)品的易用性研究成果，包括阿里云的《阿里云易用性量表》等。

“學習探索和求助”、“功能需求滿足程度”、“性能感知和服務感知”這幾個指標則主要通過專家訪談、用戶調(diào)研、頭腦風暴獲取。

各級指標說明梳理如表 3-1 所示：

在一個三級指標體系中，抽象概念是結(jié)構(gòu)方程模型中的潛變量，測量指標是顯變量，維度（仍然是抽象的）也屬于潛變量，同時，概念是內(nèi)生變量，維度是外生變量，指標則是外生變量。因此，綜合起來看，概念是內(nèi)生潛變量，維度是外生潛變量，指標是外生顯變量。

（第三級）測量指標的數(shù)據(jù)主要通過向用戶詢問對于該維度的滿意度評價或態(tài)度得分來進行獲取，其取值范圍為 1-10，舉個例子，幫助文檔的的測量指標：您對低代碼幫助文檔的使用滿意度如何評價，1 分表示非常不滿意，10 分表示非常滿意。

下圖即為結(jié)構(gòu)方程模型的路徑分析示意圖：

結(jié)構(gòu)方程模型技術(shù)，針對主觀建構(gòu)的各種不同指標體系，以采集的客觀數(shù)據(jù)為基礎，對它們進行擬合、修正與評估，找出相對最準確、最簡潔的指標體系，并通過擬合出來的 路徑系數(shù) 來分配指標體系維度以及指標的權(quán)重 [2]。

低代碼的 SEM 計算分析

注：由于公司數(shù)據(jù)的合規(guī)要求，本章涉及的指標系數(shù)、權(quán)重均為脫敏后數(shù)據(jù)，僅供方法參考。

在進行結(jié)構(gòu)方程模型分析之前，須先進行指標的信度（reliability）檢驗和效度（validity）檢驗。因為如果指標的信度、效度條件無法滿足，即便結(jié)構(gòu)方程模型的結(jié)果成立，其結(jié)論依然是不能被接受的。

樣本說明：研究者通過網(wǎng)易數(shù)帆 CodeWave 低代碼大賽（SaaS 用戶）、網(wǎng)易公司內(nèi)部用戶、外部私有化部署用戶三個渠道，盡可能覆蓋全不同的用戶類型群體，共回收有效問卷 1000 。

指標的信度檢驗

學術(shù)界普遍采用內(nèi)部一致性系數(shù)，即 Cronbach’s α 系數(shù)，來驗證指標的信度。表 3-1 展示了模型中所涉及的潛變量的一致性系數(shù)（通過 SPSS 22.0 計算得出)。

Hair、Anderson、Tatham、Black 指出，內(nèi)部一致性系數(shù) 大于 0.7 表明量表的可靠性較高；在探索性研究中，內(nèi)部一致性系數(shù)可以小于 0.7，但應大于 0.6；本研究各個潛變量的 Cronbach’s α 系數(shù)處于 0.732-0.925（見表 4-2），均超過了 0.7，表明各個概念的量表都具有較高的可靠性。

指標的效度檢驗

統(tǒng)計學上，因子分析是檢驗指標結(jié)構(gòu)效度的最常用方法。按照慣例，我們使用了 KMO 樣本測度 和 巴特勒球形檢驗 來檢驗數(shù)據(jù)是否適合做因子分析。數(shù)據(jù)顯示：產(chǎn)品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知五個構(gòu)面數(shù)據(jù)的 KMO 值分別為 0.901、0.847、0.813、0.715、0.703。同時，各構(gòu)面數(shù)據(jù)的巴特勒球形檢驗的卡方統(tǒng)計值（Sig）的顯著性概率均小于 0.001。

學者 Kaiser 指出，當 KMO 值大于 0.6，則表示樣本數(shù)據(jù)適合做因子分析，因此，本研究的樣本數(shù)據(jù)適合做因子分析。

計算路徑系數(shù)

在因子分析的基礎上，我們利用 AMOS 22.0 軟件進行結(jié)構(gòu)方程的建模與運算。（沒有統(tǒng)計軟件時也可以用 R、Java 等語言編碼計算。）

對方程模型進行路徑分析，得到模型的方程分析、有效性和擬合優(yōu)度等指標。研究計算結(jié)果參見下表（表中標準化路徑系數(shù)為脫敏后數(shù)據(jù)）。

表：結(jié)構(gòu)方程模型結(jié)果 注： *p < 0.05, **p <0.01, ***p < 0.001

模型路徑系數(shù)如下圖所示，圖中的數(shù)值均為標準化路徑系數(shù)（圖中路徑系數(shù)為脫敏后數(shù)據(jù)）

模型的調(diào)試和擬合優(yōu)度

建立路徑系數(shù)后，需要對模型的擬合優(yōu)度進行評價。評價指標包括兩類：

1. 絕對匹配測試：其評價指標是只基于假設模型隱含的協(xié)方差矩陣和樣本方差矩陣的指數(shù)，包括 CMIN/DF（卡方值比自由度）、P 值。CMIN/DF 小于 3 可以接受，但一般以小于 2 為宜（CMIN/DF 是直接檢驗樣本協(xié)方差矩陣和估計協(xié)方差矩陣間相似程度的統(tǒng)計量，理論期望值為 1）；卡方檢驗中的 P 值一般要大于 0.05，表明結(jié)構(gòu)方程模型對數(shù)據(jù)的擬合良好 [3] 。
2. 相對匹配測試：評價標準為描述性指標，包括 GFI（擬合優(yōu)度指標）、TLI（不規(guī)范擬合指數(shù)）、CFI（比較擬合指數(shù)）、RMSEA（近似誤差的均方根）等。GFI、TLI、CFI 這些指標越接近 1，模型擬合得越好：如果這些指標都大于 0.9，表示觀測數(shù)據(jù)支持假設構(gòu)想，大于 0.95 則表示擬合非常好。RMSEA 一般要求不應超過 0.08 [3]。

本模型擬合度指標參見下表，可以認為設定模型能夠較好的擬合樣本數(shù)據(jù)。

指標權(quán)重計算

通過擬合優(yōu)度檢驗后，我們需要確定二級指標、三級指標的權(quán)重，計算方式如下。

二級指標權(quán)重

利用上述模型所得路徑系數(shù)大小，對各級指標進行權(quán)重分配。將五個二級指標（影響因素）的路徑系數(shù)相加，每個維度的路徑系數(shù)除以該值即為該維度的權(quán)重。產(chǎn)品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知的路徑系數(shù)分別為 0.27、0.22、0.35、0.23、0.17，它們的和為 1.24，則關(guān)鍵業(yè)務操作體驗的權(quán)重為 0.27/1.24 = 22%。以此類推，可計算出其他二級指標權(quán)重，二級指標權(quán)重之和為 100%，參見下表。

三級指標權(quán)重

以“上手難度”指標為例：

1. 先算出“上手難度”對于用戶體驗指數(shù)（一級指標）的系數(shù)，該系數(shù)等于兩個路徑系數(shù)的乘積，即:0.81 * 0.27=0.219，記為 A1。
2. 同理，可計算抽象坡度的系數(shù) A2、文案信息的易理解性系數(shù) A3……服務人員解決問題的能力系數(shù) A21；
3. 則“上手難度”此三級指標的權(quán)重 = A1 / (A1 A2 A3……A21)。

同理可計算出其它三級指標的權(quán)重，所有三級指標權(quán)重之和等于 100%。

另外，我們可以用已確立的權(quán)重，計算出相應的二級指標得分。例如，在我們的發(fā)放的問卷調(diào)研中，并沒有直接測量產(chǎn)品易用性的得分（因為這是一個復合的抽象化概念，并不容易直接測量其得分），但現(xiàn)在我們可以通過 10 項指標和其相應的權(quán)重（由結(jié)構(gòu)方程模型得出），然后計算出產(chǎn)品易用性的得分。

用戶體驗管理體系的運轉(zhuǎn)

經(jīng)過 SEM 建模計算后，我們便可以根據(jù)指標得分、指標對 NPS 的影響權(quán)重繪制二維散點圖，并根據(jù)以下步驟優(yōu)化產(chǎn)品。

1. 確定優(yōu)化抓手：對 NPS 影響權(quán)重高 & 指標得分低

下圖中的亟待改善區(qū)即為優(yōu)化抓手：對 NPS 影響權(quán)重高，同時指標得分低

2. 識別優(yōu)化抓手的核心驅(qū)動要素 & 用戶觸點

優(yōu)化抓手通常是方向性問題，如性能問題，產(chǎn)品的上手門檻問題，后續(xù)則需要進一步通過用戶調(diào)研或梳理用戶已有反饋問題，定義好問題場景及范圍，進而確認具體問題的優(yōu)先級。

3. 推動優(yōu)化舉措落地

定義好高優(yōu)先級體驗問題后，相關(guān)業(yè)務方會根據(jù)實際情況進行優(yōu)化、排期。

4. 效果驗證、體驗閉環(huán)

通過迭代的 NPS 和指標得分，驗證改版或產(chǎn)品改進的效果。

SEM 的使用方式小結(jié)

1. 根據(jù)業(yè)務領(lǐng)域和目標，選取一個一級指標（如凈推薦值）。一級指標是抽象概念。
2. 根據(jù)業(yè)務，以合適的方式（如專家訪談、用戶調(diào)研、頭腦風暴、桌面研究等）獲取二級指標和三級指標。二級指標是維度，三級指標是測量指標。
3. 對指標進行信度檢驗和效度檢驗。
4. 通過結(jié)構(gòu)方程模型，計算出各個二級指標、三級指標的標準化路徑系數(shù)。
5. 評估模型的擬合優(yōu)度，調(diào)試模型，直到模型的各種參數(shù)符合相應標準。
6. 計算各個二級指標、三級指標的權(quán)重。

總 結(jié)

本文介紹了基于 NPS 和 SEM 的低代碼用戶體驗管理體系，它們引入了用戶視角，一定程度解決了專家打分評估的主觀性、隨意性問題。文章通過低代碼產(chǎn)品的例子，展示了 SEM 在搭建指標體系中的關(guān)鍵步驟：澄清與界定概念、建立指標體系、形成調(diào)查問卷、指標信效度檢驗、模型擬合與評估、權(quán)重分配等。

本文雖以低代碼產(chǎn)品為例，但介紹的方法具有普適性，并不僅僅局限于低代碼產(chǎn)品。

作者簡介：

網(wǎng)易杭州研究院設計部，致力于為公司產(chǎn)品提供優(yōu)質(zhì)的用戶體驗設計，核心專業(yè)能力包括用戶體驗管理與業(yè)務增長，提供數(shù)字化轉(zhuǎn)型、增長策略規(guī)劃、品牌升級、體驗創(chuàng)新等解決方案。

網(wǎng)易數(shù)帆編程語言實驗室，負責 CodeWave 智能開發(fā)平臺核心編程能力的設計，包括類型系統(tǒng)、語義語法、聲明式編程、可視化交互等 NASL 的語言設計，Language Server、可視化引擎等，以及后續(xù)演進方案的規(guī)劃和預研，旨在創(chuàng)造低門檻高上限的低代碼開發(fā)體驗。

參考文獻

[1] Green T R G, Petre M. Usability analysis of visual programming environments: a ‘cognitive dimensions’ framework[J]. Journal of Visual Languages & Computing, 1996, 7(2): 131-174

[2] 武海東，用結(jié)構(gòu)方程模型構(gòu)建圖書館讀者滿意度評價指標體系 [J]，情報科學，2011,29(02):227-230

[3] 史雅翼，線性結(jié)構(gòu)方程模型評價指標的應用 [J]，中國醫(yī)院統(tǒng)計，2001,8(4):237-238