縱貫資料的機器學習與資料驅動探索

31.1 兩種文化，一位研究者

Breiman (2001) 在統計實務的兩種文化之間畫了一條線。資料建模的那種文化，設定一個把輸入連到輸出的隨機模型，估計它的參數，並解讀它們；它的通貨 (currency) 是解釋，而它的效度 (validity) 建立在模型大致正確之上。演算法建模的那種文化，把資料生成機制 (data-generating mechanism) 當成未知而且不可知的，並尋找任何一個函數，不管它多麼無法解讀，只要它在新資料上準確地預測輸出；它的通貨是預測技巧 (predictive skill)，而它的效度建立在誠實的樣本外 (out-of-sample) 評估 (evaluation) 之上。心理學幾乎完全活在第一種文化裡，而 Yarkoni and Westfall (2017) 主張這讓這個領域付出了代價，主張一份對解釋的過度投資 (overinvestment) 與對預測的相應忽視，產出了一些「配適得了既有資料、卻預報不了任何事」的理論，而借用機器學習的預測紀律會是一次矯正。這個論證有它的力道，也引來了深思熟慮的反駁，主要是：預測與解釋是不同的目標，而不是對同一個目標互相競爭的答案，因此一個領域在兩者之間的選擇，應該由它想學到什麼推出來 (Shmueli, 2010)。

本書的動作是它一路使用的那個「估計標的 (estimand) 優先」的調解：在選方法之前先把推論的標的講清楚，並讓那個標的同時決定方法與證據的標準。有些縱貫問題真的是預測性的。一位病人下個月會不會復發、哪些學生有輟學的風險、一次適時介入 (just-in-time intervention) 應該在何時觸發，這些都是關於「某一位特定的人身上會發生什麼」的問題，而它們由一個具備高度樣本外預測技巧的模型回答得很好，不管它的內部可不可解讀。另一些問題是結構性的或因果的，關於一個結果何以發生、或什麼會改變它，而對這些問題，一個預測性的黑箱是文不對題。錯誤不在使用機器學習，而在把它與問題錯配 (mismatch)：把變項重要性讀成一個因果效果，或因為一個經過良好驗證之預測模型的係數缺少理論故事而否定它。表 31.1 把本章的方法對映到它們所服務的目標上，而圖 31.1 把那兩種文化連同它們之間那道估計標的優先的橋一起畫出來。

註：Breiman 的兩種文化追求的是不同的目標：透過一個被假設為正確的可解讀模型作解釋，以及透過任何一個經樣本外驗證的函數作預測。它們不是要被裁決的對手，而是要被選擇的目標。本書「估計標的優先」的規則化解了這份張力：先決定問題是預測性的還是結構性的，再挑選那個目標所要求的方法與證據標準。失敗的模式是那個錯配，也就是把一個預測模型的內部讀成解釋，或以預測技巧去評判一個解釋性的模型。

31.2 在依賴資料上作誠實評估

本章最重要的事實是：為獨立觀察所教的交叉驗證 (cross-validation)，用在重複測量上是有偏誤 (biased) 的，而那份偏誤是樂觀的。當一份資料的各列是巢套在人之內的時機 (occasion) 時，把各列隨機指派到各摺，會把某個人的一部分時機放進訓練集、另一部分放進測試集，於是模型有一部分是在它已經學過的人身上被評估。因為一個人之內的各次時機是相關的、有時還相當強，一個看過某人其他時機的模型，會把被留出的那些預測得比它預測一位真正的新人時更好，而它報出來的交叉驗證準確度，就高於它在實際使用時所能達到的準確度。這就是洩漏 (leakage)，而它不是一個「記一筆然後放到一旁」的細微偏誤；它是「一個在論文裡有效的模型」與「一個在部署時失效的模型」之間的差別。

這份示範用的是 affect_ema 資料，任務是由當下的預測變項與一個延宕 (lagged) 的結果變項預測當下的負向情緒，而學習器是一個隨機森林。圖 31.2 呈現三種重抽樣配置下的結果。天真的逐列十摺交叉驗證，它忽略巢套，並且額外用了一個「在完整樣本上算出來」的個人層次彙總特徵 (aggregate feature)，報出的測試集 \(R^2\) 是 \(0.41\)。依人分組交叉驗證，它把整個人留出來，使得沒有任何測試中的人出現在訓練裡，報出的是 \(0.35\)。前向串接，它在每個人較早的時機上訓練、在他們較晚的時機上測試，報出的同樣是 \(0.35\)。天真的那個配置在 \(R^2\) 上樂觀了 \(0.06\)，相對灌大百分之十七，而這道落差在重複切分之間是穩定的，使得兩個估計值相距七個標準誤 (standard error) 以上。持續性基準，它就只是預測「負向情緒等於它上一次的值」，報出的是 \(0.27\)，而它所促成的比較才是那個令人清醒的比較：誠實的模型在 \(R^2\) 上只比上一次的值好了 \(0.08\)。一份報告了天真那個數字的研究，會宣稱它並不具備的技巧；而一份省略了持續性基準的研究，會為一個「只比什麼都不做好一點點」的模型宣稱新穎性。

註：在三種重抽樣配置與一個基準之下，預測 affect_ema 資料中當下負向情緒的測試集 \(R^2\)。天真的逐列交叉驗證（紅）報出 \(0.41\)；它之所以樂觀，是因為測試中的人也出現在訓練裡，也因為有一個個人彙總特徵是在完整樣本上算出來的。依人分組與前向串接交叉驗證（藍），它們尊重那份巢套與時間的箭頭，報出 \(0.35\)，那才是誠實的估計。持續性基準（灰）預測上一次的值，報出 \(0.27\)：誠實模型相對於什麼都不做的優勢並不大。誤差槓是重複切分之間的 \(\pm 1.96\) 個標準誤。

修補的做法是把重抽樣配置與預測任務配起來，而任務有兩種。預測一位新的人的結果，也就是篩檢 (screening) 與預後 (prognosis) 的情形，以依人分組交叉驗證 (person-grouped cross-validation) 評估，它把人而不是列切進各摺 (fold)，使得每一位測試中的人在訓練期間都完全沒被看過；它的可交換性 (exchangeability) 論證是：測試摺裡的新人，代表的是模型實際使用時將面對的那些新人。由一個人的過去預測他的未來，也就是預報 (forecasting) 與適時介入的情形，以前向串接 (forward-chaining) 評估，也叫滾動起點 (rolling-origin) 評估，它對每個人以某個時間為界，在之前的時機上訓練、在之後的時機上測試，絕不讓未來告知過去。表 31.2 是那份選用表，而圖 31.3 把兩種配置畫出來。還有兩項紀律讓這幅圖完整。前處理 (preprocessing)，任何的縮放 (scaling)、插補 (imputation) 或特徵建構 (feature construction)，都必須只在訓練摺之內發生，因為一個在完整樣本上配出來的轉換，會把測試的訊息漏進訓練裡，正是上面那個個人彙總特徵所引進的那道漏。而當一個模型的超參數 (hyperparameter) 被調校時，那份調校本身也必須在訓練摺之內作交叉驗證，也就是一次巢套交叉驗證 (nested cross-validation)，因為「以測試集表現挑超參數、再報告那份表現」是一種比較微妙的「在訓練資料上作測試」(Varma & Simon, 2006)。

註：藍色格子是訓練的時機，橘色格子是測試的時機。依人分組交叉驗證（上）把整個人指派到測試摺，於是沒有任何測試中的人在訓練裡被看過；它估計的是對新的人的推廣。前向串接（下）在每個人較早的時機上訓練、在較晚的時機上測試，絕不用未來去預測過去；它估計的是個體內的預報。未在圖上的天真逐列切分，把一個人的各次時機散到訓練摺與測試摺兩邊，因而會洩漏。

31.3 巢套資料的樹與森林

決策樹 (decision tree) 把預測變項空間切成若干區域，並在每個區域 (region) 裡配一個簡單模型，而它們的整體 (ensemble)，也就是隨機森林，把許多在自助 (bootstrap) 樣本上、以隨機特徵子集 (feature subset) 長出來的樹平均起來，以降低變異數 (variance)。天真地應用到巢套資料上，它們會在兩個地方誤導。因為一個人之內的各次時機是相關的，一棵樹可以靠著實質上記住那些人來達成表面上的配適，而它的變項重要性會偏向「恰好跟著群集 (cluster) 結構走」的特徵、而不是承載個體內訊號的特徵。修補的做法是保住隨機效果結構，同時讓演算法在固定的那一部分上搜尋。混合效果樹以及 RE-EM 程序 (Sela & Simonoff, 2012)，在「給定一棵樹估隨機效果」與「給定隨機效果長一棵樹」之間交替，於是那份切分 (partition) 解釋的是次群體之間固定的差異，而隨機效果吸收個體內的依賴；廣義線性混合模型樹 (Fokkema et al., 2018) 在混合模型架構之內做同一件事，是「偵測固定效果有差異之次群體」這件事上成熟的工具。混合效果森林把這個想法延伸到預測 (Capitaine et al., 2021; Hajjem et al., 2014)，不過縱貫森林的套件生態，仍然不如橫斷的那些穩定，這是一項值得白紙黑字寫下來的成熟度告誡。

工作範例對 growth_subgroups 資料問一個次群體發現的問題，那份資料中的成長斜率由一棵共變項的樹決定：低社經地位的都市兒童陡、低社經的鄉村兒童中等、高社經的兒童平緩，而它埋在四個不帶訊號的雜訊共變項之間。一棵成長參數樹，也就是先由一個混合模型估出每個人的成長斜率、再以共變項對那些斜率作切分，還原了那個結構：它先切在社經地位上、再切在都市居住上，完全忽略那四個雜訊共變項，而它在一個留出來的驗證 (validation) 半份上的終端節點 (terminal node) 斜率 \(1.84\)、\(1.10\) 與 \(0.65\)，在「估計逐人斜率所引致的收縮」之內與植入的真值 \(2.0\)、\(1.2\)、\(0.5\) 相符。圖 31.4 把找出來的次群體疊在原始軌跡上呈現。對一個斜率森林作的排列重要性分析確認了這項發現，把社經地位與都市居住排在那四個雜訊共變項之上很遠的地方，如圖 31.5 所示。Brandmaier et al. (2013) 與 Brandmaier et al. (2016) 的結構方程模型樹把這個想法由一個斜率推廣到一整個潛在成長模型，以「預測任何一個成長參數之差異」的共變項來切分樣本，而它繼承了第 22 章對混合分配模型所要求的同一份紀律：一個被發現的次群體是一項假設，要在新鮮的資料上驗證，不是一項被「找到它的那份配適」所認證的發現。

註：一棵成長參數樹在 growth_subgroups 資料中所發現之三個次群體的平均軌跡。這棵樹先切在社經地位上、再切在都市居住上，那正是兩個真正的調節變項 (moderator)，並忽略了四個雜訊共變項；它在留出的驗證半份上還原出來的葉節點 (leaf) 斜率（\(1.8\)、\(1.1\)、\(0.7\)）與植入的真值（\(2.0\)、\(1.2\)、\(0.5\)）在「估計逐人斜率的收縮」之內相符。一個被發現的次群體是一項待驗證的假設，不是一項被「產出它的那次搜尋」所認證的發現。

註：排列重要性，也就是把一個預測變項打亂之後預測誤差的增加量，來自一個在 growth_subgroups 資料中預測逐人成長斜率的森林。社經地位與都市居住這兩個真正的調節變項佔了主導；四個雜訊共變項都貼近零。重要性排的是預測上的貢獻，而且要讀成描述性的：它辨認的是模型用到的特徵，不是結果變項的原因。

31.4 軌跡分群：演算法這一邊的對手

軌跡分群依「一個人隨時間變化的形狀」把人分群，而它是第 22 章模型本位成長混合分配模型 (growth mixture model) 在演算法這一邊的對應物。成長混合分配模型設定的是一個機率生成模型，也就是各自帶著自己成長參數的潛在類別 (latent class)，並以最大概似 (maximum likelihood) 連同那一整套列舉 (enumeration) 與配適做法去估它；而一個分群演算法計算軌跡之間的距離 (distance)，並把近的分到一起，完全沒有生成模型。縱貫資料的 k-means 做法 (Genolini & Falissard, 2010) 把每個人的序列當成一個向量 (vector) 並套用 k-means；距離本位的變體則以一個知覺形狀的距離取代歐氏 (Euclidean) 距離，例如動態時間扭曲 (dynamic time warping)，它在比較之前先把「共有一個形狀但時間不同」的序列 (sequence) 對齊 (alignment)，適用於「特徵的時間是一項要移除的干擾 (nuisance)、而不是訊號 (signal) 本身」的時候，也就是第 30 章為對位所畫的那同一個相位對振幅的區分。

這場對決讓兩種哲學對上一個已知的真相。classes_sim 資料由三個潛在成長類別生成，而圖 31.6 以「還原真實類別標籤 (label) 的程度」，也就是調整後 Rand 指數 (adjusted Rand index)，比較一個高斯混合分配模型、軌跡 k-means 與動態時間扭曲分群。模型本位的混合分配模型勝出，以 \(0.90\) 的調整後 Rand 指數還原那些類別，因為它的生成模型與資料生成歷程相符；軌跡 k-means 以 \(0.78\) 居次；而動態時間扭曲分群以 \(0.71\) 落後，因為它那份扭曲的彈性所解的是一個「這份資料並不具有的相位錯位」問題，於是為了一份從來就不需要的對齊，丟掉了有用的振幅 (amplitude) 訊息。這個次序不是一個普遍的排名，而是一堂關於「把方法與結構配起來」的課：當生成模型已知而且正確時，模型本位的方法最有效率；當它未知或設定錯誤時，演算法的方法比較穩健 (robust)；而動態時間扭曲只有在時間錯位是真的時候才掙得到它的位置。表 31.4 陳述這份取捨，而它一字不改地承載第 22 章的主張：混合分配模型與分群都沒有發現真實的類型，而一個還原出來的分群結果是一項要在外部驗證的描述，絕不是一份被「產出它的那個演算法」所認證的分類。

註：(a)：以調整後 Rand 指數表示的、對 classes_sim 資料三個真實類別的還原。高斯混合分配模型（\(0.90\)）勝出，因為它的生成模型與資料相符；軌跡 k-means（\(0.78\)）居次；動態時間扭曲分群（\(0.71\)）落後，因為它的扭曲處理的是一個這份資料並不含有的時間錯位。(b)：真實的類別平均軌跡（灰）與還原出來的混合模型群平均（虛線）幾乎重合。這個排名是一堂「把方法與結構配起來」的課，不是一個普遍的次序。

31.5 縱貫問題的正則化

密集設計造出多預測變項的問題：數十個當下題目、它們的延宕、它們的交互作用與它們的個人層次彙總 (aggregate)，加起來可以產生比一個古典迴歸估得動還多的候選預測變項。正則化以懲罰 (penalty) 係數大小來處理這件事，把小的效果往零收縮 (shrinkage)，而在套索 (lasso) 裡把其中一些設成恰好為零，於是一次同時完成選擇與估計。這個懲罰就是隨機效果所施加的那同一件收縮裝置，而它是第 17 章貝氏 (Bayesian) 先驗 (prior) 的頻率學派 (frequentist) 表親，這個接點值得記住，因為它把正則化去神祕化成一份有紀律的收縮、而不是一門黑魔法。應用到「由當下預測變項、它們的延宕與所有成對交互作用 (interaction) 構成的設計矩陣 (design matrix)，篩檢 affect_ema 資料下一個時機的負向情緒」上，套索在依人分組交叉驗證之下選出一個七個預測變項的稀疏 (sparse) 模型，保留了當下壓力、正向情緒與延宕的結果變項，連同少數幾個交互作用，其餘全部捨棄。圖 31.7 呈現那條交叉驗證路徑，以及那個選出稀疏誠實模型的「一個標準誤法則 (one-standard-error rule)」。

有兩項縱貫上的複雜情況值得小心。第一，當一個預測變項如第 7 章所建議的那樣被分解成它的個體內與個體間成分時，那兩個成分應該成對地懲罰，或者要意識到分開懲罰它們可能會扭曲那份分解。第二，也更有後果的是：在選擇中存活下來的那些係數，並不帶著一個普通迴歸的標準誤與 \(p\) 值，因為它們是靠看資料選出來的，而一個忽略這件事的選擇後推論是無效的。誠實的選項有三個：把正則化模型純粹用於預測，只報告樣本外技巧；把選出來的模型鎖定，並在一份新鮮樣本上重配，那裡的推論是有效的；或者把資料切開，在一部分上選擇、在另一部分上推論。務實的主張是把選擇與推論放在分開的隔間裡，而且絕不把一個套索係數配上一個天真的信賴區間 (confidence interval) 報出去，彷彿那次選擇不曾發生過。

註：在 affect_ema 資料上篩檢下一個時機負向情緒的套索交叉驗證路徑，各摺依人分組，使得選出來的模型對新的人是誠實的。誤差在很寬的一段懲罰範圍上都很平，而在懲罰變大時上升；一個標準誤法則（虛線）在「稀疏開始要付出準確度代價」的那一點附近，選出一個七個預測變項的稀疏模型。選出來的係數是給預測用的；要對它們作推論，需要一個鎖定的模型或一份新鮮的樣本。

31.6 個殊取向的預測與逐人的前沿

預測的問題可以往內轉，由「跨人推廣」轉成「預報單一個人的未來」，而第 25 章的合併教訓在這裡穿著預測的衣服回來。有兩種策略在競爭。一個逐人模型配到每一位個體自己的歷史上、並用來預報他們的未來，完整地尊重個殊取向 (idiographic) 的變異；一個合併模型跨人借力，配一個模型給所有人並套用到每一個人身上。哪一個勝出，取決於每個人有多少歷史，因為一個逐人模型必須單獨由那個人的資料估出它的參數，而在資料少的時候並不可靠。圖 31.8 呈現 affect_ema 資料裡的那個交叉點。在只有六次時機的短歷史下，逐人模型預報得很差，均方根誤差是 \(0.83\)、對照合併模型的 \(0.47\)，因為六個點釘不住一個個體模型；隨著歷史加長，逐人的誤差下降，在二十四次時機附近追過合併模型，而在四十次時機時逐人模型明顯勝出。這堂課恰恰就是那堂收縮的課：資料稀疏時，往母體合併是比較好的賭注，而只有當一個人累積了夠多自己的資料時，一個個殊取向的模型才掙得到它的獨立。持續性基準一路跑在合併模型之上，也就是誤差一路較高，但相對於逐人模型只在歷史夠長之後才如此：在 \(k=6\) 時它輸給合併模型、卻贏過逐人模型（\(0.56\) 對 \(0.83\)），而由 \(k=16\) 起兩個模型都勝過它。它仍然是那個必須先被跨過的門檻，只是這份資料上它並不是最強的那個競爭者。

註：(a)：affect_ema 資料中，逐人模型、合併模型與持續性隨著逐人訓練歷史加長的個體內平均預報誤差。逐人模型在短歷史時不可靠，並隨資料累積而改善，在二十四次時機附近（虛線）追過合併模型。(b)：在一份豐富的四十次時機歷史下，逐人的誤差分配最低；不過只有二十二位參與者累積到這麼長的歷史，這一格的樣本因此遠小於全體的一百二十人。這個交叉點就是第 25 章收縮教訓的預測版：資料稀疏時合併，資料豐富時個體化。

解讀由此得出的那些模型，不管是合併的森林還是逐人的配適，都需要「在不過度宣稱的前提下摘要一個黑箱」的工具。上面用過的排列重要性，依「打亂一個特徵會讓預測退化 (degrade) 多少」把特徵排序，而它必須在尊重分組的前提下計算，也就是在重抽樣結構之內、而不是跨結構地作排列。部分依賴與個體條件期望 (individual conditional expectation) 呈現，畫出「當一個特徵變動、其他特徵固定或平均掉時，預測出來的結果如何移動」，而圖 31.9 呈現預測出來的負向情緒對當下壓力那份上升的依賴，個別曲線則顯示出平均之外的異質性。本質的紀律是這些呈現是描述性的、不是因果的：部分依賴曲線呈現的是模型的預測如何回應一個特徵，而那只有在「模型並未驗證、通常也無法驗證」的假設下，才等於那個特徵的因果效果。一條上升的壓力部分依賴曲線，意思是模型在壓力較高時預測較高的情緒，不是說降低壓力就會降低情緒，而那兩種讀法之間的距離，就是本章開篇所畫的描述與解釋之間的距離。最後，預報的呈現必須永遠錨定在一個基準上，並且與區辨 (discrimination) 一起報告校準；圖 31.10 把每一種配置的誤差擺在持續性那條線旁邊，而表 31.5 列出一份預測報告所需要的度量與基準。

註：部分依賴曲線（紅）呈現森林預測出來的負向情緒如何隨當下壓力上升，其他特徵已被平均掉；灰色的個體條件期望曲線顯示那份依賴在各筆觀察之間有所不同。這些呈現描述的是模型的行為，不是世界的因果結構：那條曲線是模型對一個特徵的回應，只有在未經檢驗的假設下才等於一個因果效果。讀成描述，它們揭露的是模型學會了使用什麼。

註：在每一種配置下，預測 affect_ema 當下負向情緒的測試集均方根誤差，持續性基準（虛線）標出「預測上一次的值」的誤差。天真那個配置偏低的誤差，就是圖 31.2 那道洩漏換成誤差度量的樣子；誠實的那兩種配置只落在持續性稍下。一項預測主張的強度，不會超過它相對於最簡單基準的邊際，而對縱貫結果變項來說，那個基準幾乎總是持續性。

31.7 報告與預先註冊

一份預測研究靠「報告那些決定它的準確度是否為真的決策」贏得信任，而為臨床預測模型所發展的報告標準可以直接移植 (Collins et al., 2015)。表現必須連同來自重複重抽樣的不確定性一起報告，也必須對照那個必備的基準，好讓讀者同時看到模型有多準、以及它相對於什麼都不做改善了多少。重抽樣配置必須被指名並說明理由，而那份洩漏稽核必須明白寫出：各摺如何尊重了人與時間、前處理相對於切分坐在哪裡、以及調校是如何被巢套起來的。「事前固定了什麼」與「資料選了什麼」的區分必須保留下來，因為那正是一份機器學習分析得以被預先註冊的原因。一份預先註冊可以固定重抽樣配置、度量、基準、調校網格與特徵集合，只把配適出來的模型留給資料，而一份這樣進行的分析，佔的正是本書在第 36 章要回到的那條誠實的探索性車道：在模型是被發現的這一點上是探索性的，在評估是在看到模型之前就指定好的這一點上是驗證性的。表 31.6 是那份檢核表，軟體方塊陳述本章承諾過的套件成熟度稽核，而實作方塊處理在規模上執行這些分析的計算與可複製性現實。