縱貫資料的機器學習與資料驅動探索

31.1 兩種文化，一位研究者

Breiman (2001) 在統計實務的兩種文化之間畫了一條線。資料建模的文化設定一個把輸入連到輸出的隨機模型，估它的參數，再解讀那些參數；它的通貨(currency)是解釋，效度(validity)建立在模型大致正確之上。演算法建模的文化把資料生成機制(data-generating mechanism)當成未知而且不可知，只找一個能在新資料上準確預測輸出的函數，不管那個函數多難解讀；它的通貨是預測技巧(predictive skill)，效度建立在誠實的樣本外(out-of-sample)評估(evaluation)之上。心理學幾乎完全活在第一種文化裡。Yarkoni and Westfall (2017) 認為這讓整個領域付出了代價：過度投資(overinvestment)於解釋、相應地忽視預測，養出一批「配適得了既有資料、卻預報不了任何事」的理論，而借用機器學習的預測紀律正是一劑矯正。這個論證有力道，也引來了深思熟慮的反駁：預測與解釋是不同的目標，不是對同一個目標互相競爭的答案，因此一個領域要在兩者之間怎麼選，得由它想學到什麼推出來 (Shmueli, 2010)。

本書一路採用的調解仍然是「估計標的(estimand)優先」：選方法之前先把推論的標的講清楚，再讓那個標的同時決定方法與證據的標準。有些縱貫問題確實是預測性的。一位病人下個月會不會復發、哪些學生有輟學的風險、一次適時介入(just-in-time intervention)該在什麼時候觸發，問的都是「某一位特定的人身上會發生什麼」，而一個樣本外預測技巧夠高的模型就答得很好，它的內部好不好解讀並不影響。另一些問題是結構性的或因果的，問的是一個結果何以發生、什麼會改變它；對這些問題，一個預測性的黑箱文不對題。錯誤不在使用機器學習，而在把它跟問題錯配(mismatch)：把變項重要性讀成因果效果，或者因為一個經過良好驗證的預測模型缺少理論故事就否定它的係數。表 31.1 把本章的方法對映到它們服務的目標，圖 31.1 則畫出那兩種文化，以及橫在中間那道估計標的優先的橋。

註：Breiman 的兩種文化追求不同的目標：一邊靠一個被假設為正確的可解讀模型作解釋，一邊靠任何一個經樣本外驗證的函數作預測。它們不是等著被裁決的對手，而是等著被選擇的目標。本書「估計標的優先」的規則化解了這份張力：先決定問題是預測性的還是結構性的，再挑那個目標要求的方法與證據標準。失敗模式就是錯配，把一個預測模型的內部讀成解釋，或拿預測技巧去評判一個解釋性的模型。

31.2 在依賴資料上作誠實評估

本章最重要的事實是：為獨立觀察設計的交叉驗證(cross-validation)，用在重複測量上會有偏誤(biased)，而且是樂觀的偏誤。資料的各列若是巢套在人之內的時機(occasion)，把各列隨機指派到各摺，就會讓同一個人的一部分時機進訓練集、另一部分進測試集，模型於是有一部分是在它已經學過的人身上受評估。一個人之內的各次時機彼此相關，有時還相當強，因此看過某人其他時機的模型，預測被留出的那些時機時會比預測一位真正的新人準，報出來的交叉驗證準確度也就高於它實際使用時做得到的準確度。這就是洩漏(leakage)。它不是一個「記一筆然後擱在一旁」的細微偏誤，而是「一個在論文裡有效的模型」與「一個在部署時失效的模型」之間的差別。

示範用的是 affect_ema 資料，任務是拿當下的預測變項與一個延宕(lagged)的結果變項去預測當下的負向情緒，學習器是一個隨機森林。圖 31.2 呈現三種重抽樣配置下的結果。天真的逐列十摺交叉驗證忽略巢套，又多用了一個在完整樣本上算出來的個人層次彙總特徵(aggregate feature)，報出的測試集 \(R^2\) 是 \(0.41\)。依人分組交叉驗證把整個人留出來，測試中的人完全不出現在訓練裡，報出 \(0.35\)。前向串接在每個人較早的時機上訓練、在較晚的時機上測試，報出的同樣是 \(0.35\)。天真那個配置在 \(R^2\) 上樂觀了 \(0.06\)，相對膨脹百分之十七；這道落差在重複切分之間很穩定，兩個估計值相距七個標準誤(standard error)以上。這 \(0.06\) 拆得開，而拆開之後的比重值得注意：切分本身只值 \(0.004\)，那個在完整樣本上算出來的彙總特徵值 \(0.056\)，也就是九成三。逐列切分要能膨脹準確度，特徵裡必須有東西承載個人身分，好讓學習器由訓練列認出測試列屬於哪一個人；這裡的預測變項都是動量層次的、跨人可交換，那個彙總特徵卻是一欄純粹的身分標記。只帶當下預測變項的分析者因此看不到多大的切分漏，這不鬆動依人分組的紀律，只說明那道漏的大小取決於特徵裡承載了多少身分。持續性基準(persistence baseline)只是預測「負向情緒等於它上一次的值」，報出 \(0.27\)，而它促成的比較才令人清醒：誠實的模型在 \(R^2\) 上只比上一次的值好了 \(0.08\)。報告天真那個數字的研究，宣稱的是它並不具備的技巧；省略持續性基準的研究，則為一個只比什麼都不做好一點點的模型宣稱新穎性。

註：三種重抽樣配置與一個基準之下，預測 affect_ema 資料中當下負向情緒的測試集 \(R^2\)。天真的逐列交叉驗證（紅）報出 \(0.41\)，它樂觀有兩個來源：測試中的人也出現在訓練裡，個人彙總特徵又是在完整樣本上算出來的。依人分組與前向串接交叉驗證（藍）尊重巢套與時間的箭頭，報出 \(0.35\)，這才是誠實的估計。持續性基準（灰）預測上一次的值，報出 \(0.27\)：誠實模型相對於什麼都不做的優勢並不大。誤差槓是重複切分之間的 \(\pm 1.96\) 個標準誤。

修補的做法是把重抽樣配置與預測任務配起來，而任務有兩種。預測一位新的人的結果，也就是篩檢(screening)與預後(prognosis)的情形，用依人分組交叉驗證(person-grouped cross-validation)評估：它把人而不是列切進各摺(fold)，每一位測試中的人在訓練期間都完全沒被看過；它的可交換性(exchangeability)論證是，測試摺裡的新人代表模型實際使用時要面對的那些新人。由一個人的過去預測他的未來，也就是預報(forecasting)與適時介入的情形，用前向串接(forward-chaining)評估，也叫滾動起點(rolling-origin)評估：對每個人以某個時間為界，在界前的時機上訓練、界後的時機上測試，絕不讓未來告知過去。表 31.2 是選用表，圖 31.3 把兩種配置畫出來。還有兩項紀律讓這幅圖完整。前處理(preprocessing)，也就是任何的縮放(scaling)、插補(imputation)或特徵建構(feature construction)，都只能在訓練摺之內發生；一個在完整樣本上配出來的轉換會把測試的訊息漏進訓練，前面那個個人彙總特徵引進的正是這道漏。而模型的超參數(hyperparameter)一旦要調校，那份調校本身也必須在訓練摺之內再作一次交叉驗證，也就是巢套交叉驗證(nested cross-validation)，因為「以測試集表現挑超參數、再報告那份表現」是一種比較微妙的「在訓練資料上作測試」(Varma & Simon, 2006)。

註：藍色格子是訓練的時機，橘色格子是測試的時機。依人分組交叉驗證（上）把整個人指派到測試摺，測試中的人在訓練裡一次也沒被看過，估計的是對新的人的推廣。前向串接（下）在每個人較早的時機上訓練、較晚的時機上測試，絕不用未來去預測過去，估計的是個體內的預報。圖上沒畫的天真逐列切分，會把一個人的各次時機散到訓練摺與測試摺兩邊，因此洩漏。

31.3 巢套資料的樹與森林

決策樹(decision tree)把預測變項空間切成若干區域，在每個區域(region)裡配一個簡單模型；它們的整體(ensemble)，也就是隨機森林，把許多長在自助(bootstrap)樣本上、每次只用隨機特徵子集(feature subset)的樹平均起來，藉此降低變異數(variance)。天真地搬到巢套資料上，它們會在兩個地方誤導。一個人之內的各次時機彼此相關，一棵樹只要實質上記住那些人，就能換到表面上的配適，而它的變項重要性會偏向剛好跟著群集(cluster)結構走的特徵，不是承載個體內訊號的特徵。修補的做法是保住隨機效果結構，只讓演算法在固定的那一部分上搜尋。混合效果樹與 RE-EM 程序 (Sela & Simonoff, 2012) 在「給定一棵樹估隨機效果」與「給定隨機效果長一棵樹」之間交替，切分(partition)解釋的因此是次群體之間固定的差異，個體內的依賴則由隨機效果吸收；廣義線性混合模型樹 (Fokkema et al., 2018) 在混合模型架構之內做同一件事，是偵測固定效果有差異的次群體時成熟的工具。混合效果森林把這個想法延伸到預測 (Capitaine et al., 2021; Hajjem et al., 2014)，不過縱貫森林的套件生態仍然不如橫斷的那些穩定，這項成熟度告誡值得白紙黑字寫下來。

工作範例拿 growth_subgroups 資料問一個次群體發現的問題。那份資料的成長斜率由一棵共變項的樹決定：低社經地位的都市兒童陡、低社經的鄉村兒童中等、高社經的兒童平緩，而這個結構埋在四個不帶訊號的雜訊共變項之間。成長參數樹先用一個混合模型估出每個人的成長斜率，再以共變項對那些斜率作切分，把結構還原了出來：先切社經地位、再切都市居住，四個雜訊共變項完全沒被用到；它在留出來的驗證(validation)半份上的終端節點(terminal node)斜率 \(1.84\)、\(1.10\) 與 \(0.65\)，在估計逐人斜率所引致的收縮之內，與植入的真值 \(2.0\)、\(1.2\)、\(0.5\) 相符。圖 31.4 把找出來的次群體疊在原始軌跡上。對一個斜率森林作的排列重要性分析確認了這項發現，社經地位與都市居住遠遠排在那四個雜訊共變項之上，見圖 31.5。Brandmaier et al. (2013) 與 Brandmaier et al. (2016) 的結構方程模型樹把這個想法由單一斜率推廣到一整個潛在成長模型，改用「能預測任何一個成長參數之差異」的共變項來切分樣本，並且繼承了第 22 章對混合分配模型要求的同一份紀律：被發現的次群體是一項假設，要在新鮮的資料上驗證，不是一項被「找到它的那份配適」所認證的發現。

註：一棵成長參數樹在 growth_subgroups 資料中找出的三個次群體，圖上是它們的平均軌跡。這棵樹先切社經地位、再切都市居住，正是兩個真正的調節變項(moderator)，四個雜訊共變項一個也沒用；它在留出的驗證半份上還原的葉節點(leaf)斜率（\(1.8\)、\(1.1\)、\(0.7\)）與植入的真值（\(2.0\)、\(1.2\)、\(0.5\)），在估計逐人斜率的收縮之內相符。被發現的次群體是一項待驗證的假設，不是一項被「產出它的那次搜尋」所認證的發現。

註：排列重要性，也就是打亂一個預測變項之後預測誤差的增加量，來自一個在 growth_subgroups 資料中預測逐人成長斜率的森林。真正的兩個調節變項社經地位與都市居住佔了主導，四個雜訊共變項都貼近零。重要性排的是預測上的貢獻，而且要讀成描述：它認出的是模型用到的特徵，不是結果變項的原因。

31.4 軌跡分群：演算法這一邊的對手

軌跡分群依「一個人隨時間變化的形狀」把人分群，是第 22 章模型本位成長混合分配模型(growth mixture model)在演算法這一邊的對應物。成長混合分配模型設定一個機率生成模型，也就是各自帶著自己成長參數的潛在類別(latent class)，再以最大概似(maximum likelihood)連同整套列舉(enumeration)與配適做法去估它；分群演算法則計算軌跡之間的距離(distance)，把近的分到一起，完全沒有生成模型。縱貫資料的 k-means 做法 (Genolini & Falissard, 2010) 把每個人的序列當成一個向量(vector)，直接套用 k-means；距離本位的變體改以一個知覺形狀的距離取代歐氏(Euclidean)距離，例如動態時間扭曲(dynamic time warping)，它在比較之前先把形狀相同、時間不同的序列(sequence)對齊(alignment)。時間若是要移除的干擾(nuisance)、不是訊號(signal)本身，這種做法才用得上，而這正是第 30 章為對位所畫的那個相位對振幅的區分。

這場對決讓兩種哲學對上一個已知的真相。classes_sim 資料由三個潛在成長類別生成，圖 31.6 以「還原真實類別標籤(label)的程度」，也就是調整後 Rand 指數(adjusted Rand index)，比較高斯混合分配模型、軌跡 k-means 與動態時間扭曲分群。模型本位的混合分配模型勝出，以 \(0.90\) 的調整後 Rand 指數還原那些類別，因為它的生成模型與資料生成歷程相符；軌跡 k-means 以 \(0.78\) 居次；動態時間扭曲分群以 \(0.71\) 排在最後，因為它那份扭曲的彈性解的是相位錯位，而這份資料根本沒有相位錯位，於是為了一次從來就不需要的對齊，丟掉了有用的振幅(amplitude)訊息。這個次序不是普遍的排名，而是一堂「把方法與結構配起來」的課：生成模型已知而且正確時，模型本位的方法最有效率；它未知或設定錯誤時，演算法的方法比較穩健(robust)；動態時間扭曲則只有在時間錯位是真的時候才掙得到位置。表 31.4 陳述這份取捨，也一字不改地承載第 22 章的主張：混合分配模型與分群都沒有發現真實的類型，還原出來的分群結果是一項要在外部驗證的描述，絕不是一份被「產出它的那個演算法」所認證的分類。

註：(a)：以調整後 Rand 指數表示的、對 classes_sim 資料三個真實類別的還原。高斯混合分配模型（\(0.90\)）勝出，因為它的生成模型與資料相符；軌跡 k-means（\(0.78\)）居次；動態時間扭曲分群（\(0.71\)）居末，因為它的扭曲處理的是一種這份資料並不含有的時間錯位。(b)：真實的類別平均軌跡（灰）與還原出來的混合分配模型群平均（虛線）幾乎重合。這個排名是一堂「把方法與結構配起來」的課，不是普遍的次序。

31.5 縱貫問題的正則化

密集設計造出多預測變項的問題：數十個當下題目、它們的延宕、它們的交互作用與它們的個人層次彙總(aggregate)，加起來的候選預測變項可以多到一個古典迴歸估不動。正則化用懲罰(penalty)係數大小來處理，把小的效果往零收縮(shrinkage)，套索(lasso)更把其中一些壓成恰好為零，選擇與估計一次完成。這個懲罰就是隨機效果所施加的那件收縮裝置，也是第 17 章貝氏(Bayesian)先驗(prior)的頻率學派(frequentist)表親；記住這個接點，正則化就從一門黑魔法還原成一份有紀律的收縮。用在 affect_ema 資料上，以當下預測變項、它們的延宕與所有成對交互作用(interaction)構成設計矩陣(design matrix)，篩檢下一個時機的負向情緒，套索在依人分組交叉驗證之下選出一個七個預測變項的稀疏(sparse)模型，留下當下壓力、正向情緒與延宕的結果變項，加上少數幾個交互作用，其餘全部捨棄。圖 31.7 呈現那條交叉驗證路徑，以及選出這個稀疏誠實模型的一個標準誤法則(one-standard-error rule)。

有兩項縱貫上的複雜情況要小心。第一，一個預測變項若照第 7 章的建議分解成個體內與個體間成分，那兩個成分應該成對地懲罰；分開懲罰可能扭曲那份分解，至少要意識到這個風險。第二項更有後果：在選擇中存活下來的係數，不帶普通迴歸的標準誤與 \(p\) 值，因為它們是靠看資料選出來的，忽略這件事的選擇後推論無效。誠實的選項有三個：把正則化模型純粹用於預測，只報告樣本外技巧；把選出來的模型鎖定，在一份新鮮樣本上重配，那裡的推論才有效；或者把資料切開，一部分用來選擇、另一部分用來推論。務實的主張是把選擇與推論放進分開的隔間，絕不把一個套索係數配上天真的信賴區間(confidence interval)報出去，彷彿那次選擇不曾發生。

註：在 affect_ema 資料上篩檢下一個時機負向情緒的套索交叉驗證路徑，各摺依人分組，選出來的模型因此對新的人是誠實的。誤差在很寬的一段懲罰範圍上都很平，懲罰再變大才上升；一個標準誤法則（虛線）在「稀疏開始要付出準確度代價」的那一點附近，選出一個七個預測變項的稀疏模型。選出來的係數是給預測用的，要對它們作推論，得有一個鎖定的模型或一份新鮮的樣本。

31.6 個殊取向的預測與逐人的前沿

預測的問題可以往內轉，由「跨人推廣」轉成「預報單一個人的未來」，第 25 章的合併教訓於是穿著預測的衣服回來。有兩種策略在競爭。逐人模型配在每一位個體自己的歷史上，再用來預報這個人的未來，完整地尊重個殊取向(idiographic)的變異；合併模型跨人借力，配一個模型給所有人，再套用到每一個人身上。哪一個勝出，取決於每個人有多少歷史：逐人模型的參數只能由那個人自己的資料估出來，資料一少就不可靠。圖 31.8 呈現 affect_ema 資料裡的交叉點。只有六次時機的短歷史下，逐人模型預報得很差，均方根誤差 \(0.83\)，合併模型則是 \(0.47\)，六個點釘不住一個個體模型；歷史一加長，逐人的誤差就下降，在二十四次時機附近追過合併模型，到四十次時機時明顯勝出。這堂課就是收縮那堂課：資料稀疏時往母體合併是比較好的賭注，一個人累積了夠多自己的資料之後，個殊取向的模型才掙得到獨立。持續性基準一路跑在合併模型之上，也就是誤差一路較高，但相對於逐人模型只在歷史夠長之後才如此：\(k=6\) 時它輸給合併模型、卻贏過逐人模型（\(0.56\) 對 \(0.83\)），由 \(k=16\) 起兩個模型都勝過它。它仍然是必須先跨過的門檻，只是在這份資料上並不是最強的競爭者。

註：(a)：affect_ema 資料中，逐人模型、合併模型與持續性基準的個體內平均預報誤差，隨逐人訓練歷史加長而變化。逐人模型在短歷史時不可靠，隨資料累積而改善，在二十四次時機附近（虛線）追過合併模型。(b)：在一份豐富的四十次時機歷史下，逐人的誤差分配最低；不過只有二十二位參與者累積到這麼長的歷史，這一格的樣本因此遠小於全體的一百二十人。這個交叉點就是第 25 章收縮教訓的預測版：資料稀疏時合併，資料豐富時個體化。

解讀由此得出的模型，不管是合併的森林還是逐人的配適，都需要「在不過度宣稱的前提下摘要一個黑箱」的工具。前面用過的排列重要性，依「打亂一個特徵會讓預測退化(degrade)多少」把特徵排序，而它必須在尊重分組的前提下計算，也就是在重抽樣結構之內作排列，不跨結構。部分依賴與個體條件期望(individual conditional expectation)呈現，畫的是一個特徵變動、其他特徵固定或平均掉時，預測出來的結果怎麼移動；圖 31.9 呈現預測出來的負向情緒隨當下壓力上升的依賴，個別曲線則顯示平均之外的異質性。紀律在於這些呈現是描述，不是因果：部分依賴曲線呈現的是模型的預測如何回應一個特徵，要等於那個特徵的因果效果，得先接受一整套模型並未驗證、通常也無法驗證的假設。一條上升的壓力部分依賴曲線，意思是模型在壓力較高時預測較高的情緒，不是說降低壓力就會降低情緒；這兩種讀法之間的距離，就是本章開篇畫下的描述與解釋之間的距離。最後，預報的呈現一定要錨定在一個基準上，校準也要與區辨(discrimination)一起報告；圖 31.10 把每一種配置的誤差擺在持續性那條線旁邊，表 31.5 則列出一份預測報告需要的度量與基準。

註：部分依賴曲線（紅）呈現森林預測出來的負向情緒如何隨當下壓力上升，其他特徵已經平均掉；灰色的個體條件期望曲線顯示這份依賴在各筆觀察之間並不一樣。這些呈現描述的是模型的行為，不是世界的因果結構：那條曲線是模型對一個特徵的回應，要等於一個因果效果，得先接受未經檢驗的假設。讀成描述，它們揭露的是模型學會了使用什麼。

註：每一種配置下，預測 affect_ema 當下負向情緒的測試集均方根誤差；持續性基準（虛線）標出「預測上一次的值」的誤差。天真那個配置偏低的誤差，就是圖 31.2 那道洩漏換成誤差度量的樣子；誠實的兩種配置只落在持續性稍下。一項預測主張的強度，不會超過它相對於最簡單基準的邊際，而對縱貫結果變項來說，那個基準幾乎總是持續性。

31.7 報告與預先註冊

一份預測研究靠「報告那些決定它的準確度是否為真的決策」贏得信任，而為臨床預測模型發展出來的報告標準可以直接移植 (Collins et al., 2015)。表現要連同重複重抽樣得到的不確定性一起報告，也要對照那個必備的基準，讀者才同時看得到模型有多準、以及它相對於什麼都不做改善了多少。重抽樣配置要指名並說明理由，洩漏稽核也要明白寫出來：各摺怎麼尊重人與時間、前處理坐在切分的哪一邊、調校又是怎麼巢套起來的。「事前固定了什麼」與「資料選了什麼」這道區分一定要保留，因為一份機器學習分析正是靠它才能預先註冊。預先註冊可以固定重抽樣配置、度量、基準、調校網格與特徵集合，只把配適出來的模型留給資料；這樣進行的分析，佔的正是本書第 36 章要回到的那條誠實的探索性車道：模型是被發現的，所以是探索性的；評估在看到模型之前就指定好了，所以是驗證性的。表 31.6 是那份檢核表，軟體方塊陳述本章承諾過的套件成熟度稽核，實作方塊則處理在規模上執行這些分析的計算與可複製性現實。

習題

1. 31.1 洩漏示範。在 affect_ema 上重現圖 31.2 的三種重抽樣配置，確認天真的逐列切分報出測試集 \(R^2\) 為 \(0.41\)、依人分組與前向串接都是 \(0.35\)，再對照圖 31.3，以隨機效果 \(u_j\) 的語言說明為什麼只有後兩者估得出部署時真正要面對的誤差。
2. 31.2 次群體發現。在 growth_subgroups 上配適一棵成長參數樹與一個斜率森林，重現圖 31.4 的終端節點斜率與圖 31.5 的排列重要性排序，再寫出一段結果，把重要性讀成描述，並聲明找出來的次群體只是一項待驗證的假設。
3. 31.3 分群對決。在 classes_sim 上跑高斯混合分配模型、軌跡 k-means 與動態時間扭曲分群，重現圖 31.6 的調整後 Rand 指數次序，再依表 31.4 說明動態時間扭曲為什麼在一份沒有相位錯位的資料上敬陪末座。
4. 31.4 選擇後的誠實。在 affect_ema 上以依人分組交叉驗證跑一次套索篩檢，用一個標準誤法則選出圖 31.7 那樣的稀疏模型，再寫一份備忘錄，說明為什麼不能替存活下來的係數配上普通的 \(p\) 值，並在第 31.5 節的三個誠實選項中挑一個交代理由。
5. 31.5 檢核表稽核。取一篇已發表的縱貫預測研究，依表 31.6 逐項稽核它的估計標的、重抽樣配置與洩漏稽核，再依表 31.5 查核它有沒有同時報告區辨、校準與持續性基準，並就它的疏漏寫出應有的審查意見。
6. 31.6 逐人的交叉點。在你自己的密集縱貫資料上重現圖 31.8，把逐人模型、合併模型與持續性基準的預報誤差畫成訓練歷史長度的函數，找出交叉點落在幾次時機，並用第 25 章的收縮說明這個位置為什麼會移動。