完整的工作流程：方法選擇、可重製性與報告

36.1 主決策系統

第 1 章以單一一張圖引入的那份導引 (routing)，現在可以陳述成一套有三項輸入與三項輸出的系統。輸入是問題家族 (question family)，也就是全書一路使用的那五個之一；資料結構 (data structure)，由每人的時點數、人數、時機的規則性與結果的型態來描述；以及假設預算 (assumption budget)，也就是設計與資料讓你辯護得了的那組假設，關於遺漏機制 (missingness mechanism)、測量的恆等性 (measurement invariance)、動態的定態性 (stationarity)，以及量尺的等距 (interval) 意義。輸出是這些輸入所隱含的主要分析 (primary analysis)、主要分析的假設所要求的必跑敏感度分析，以及設計撐得起的主張上限。圖 36.1 是完整的地圖，也就是圖 1.5 的對應物，現在被本書發展過的每一個方法填滿，並在底部由本章要形式化的那條工作流程主幹收尾。表 36.1 是多數學生其實最先需要的那份搭檔，因為最難的一步不是在問題被命名之後選一個方法，而是把問題措辭到它的估計標的毫不含糊。

註：由最上方「為估計標的命名」進入，順著資料結構走到它的類別，再讀那片葉子上「回答每一個問題家族」的方法，現在包含第 1 章之後才發展出來的那些有彈性的、動態的與非線性的工具。紫色帶列出交叉的選擇；綠色帶加上本章要形式化的工作流程主幹。這就是圖 1.5 當初作為承諾畫下的那張地圖，如今在每一個方法都存在之後，被當成一次稽核重走一遍。

一套決策系統是引導，不是赦免。當設計是新穎的、當好幾條路徑同樣站得住腳、或當那些假設排不出優劣時，這套系統與其說是失效，不如說是把問題連同它被攤開的結構一起交還給你，而誠實的回應不是癱瘓，而是一份敏感度組合 (sensitivity suite)：把那幾條站得住腳的路徑都跑一遍，並報告它們一致或分歧。三個應用章展示過這套系統在真實問題上運作的樣子：一場臨床試驗被導向成長、退出與聯合模型 (joint model)；一條發展連鎖被導向帶著估計標的紀律的追蹤模型家族；一份雙人日誌被導向多層次的行動者與伴侶模型 (actor-partner model)。那些導引在那裡已經走完；這裡的重點是，每一次都是由「為估計標的命名」開始，剩下的交給地圖。

36.2 可重製的縱貫專案

一個重建不了的結果是一項主張、不是一項發現，而縱貫專案格外脆弱，因為它把許多階段串在一起，清理、衍生、配適與繪圖，而且橫跨那些「抵達時很亂、之後又會演變」的資料。可重製的專案建立在幾條紀律上。原始資料是不可變動的 (immutable)，只讀不寫，好讓每一份衍生資料都追溯得到一個未被碰過的源頭。套件環境是鎖定的 (locked)，好讓產出某個結果的那些版本被記錄下來、也還原得回去，因為在某一版混合模型套件下配適出來的縱貫模型，可能與下一版不同。管線是受管理的 (managed)，它的各階段連同依賴關係 (dependency) 被宣告出來，於是改動一項輸入就只重跑依賴它的那些、不多不少，那既是效率、也是一種文件，因為那張依賴圖就是分析的地圖。每一個隨機的步驟，每一條馬可夫鏈 (Markov chain)、每一次拔靴 (bootstrap)、每一次模擬與插補 (imputation)，都由一顆登錄過的種子抽起，好讓隨機性是可重製的、而不只是看起來合理。而整個專案被連同一份資料編碼簿 (codebook) 存進典藏庫，好讓多年後的讀者重建得了它。圖 36.2 呈現這份解剖，圖 36.3 呈現範例的管線圖，而表 36.2 是每一個專案都該保有的種子登錄簿。

註：原始資料是不可變動的輸入；程式目錄裡的函式與一個鎖定的套件環境建出衍生資料，衍生資料餵給模型配適，配適餵給圖表與報告，最後存進一個公開的典藏庫。箭頭就是管線的依賴關係：改動一項輸入，就重建剛好依賴它的那些。目錄的慣例遵循「檔名帶版本、腳本有標頭、長計算設檢查點」的實驗室標準。

註：每一個節點是一個建置目標 (build target)，每一支箭頭是一項依賴。主要配適與多重宇宙配適都依賴衍生資料、彼此獨立，因此改動多重宇宙的程式只會重跑它那一支。這張圖是由管線工具產生的、不是手畫的，因此它漂不離實際的分析，那正是它作為文件的價值。

36.3 調和過的報告標準

全書一章一章累積起來的那些報告檢核表，涵蓋混合模型 (mixed model)、成長模型 (growth model)、恆等性、混合分配模型 (mixture model)、動態模型、網絡 (network)、存活分析 (survival analysis)，以及有彈性的方法與機器學習，共享一根共同的主幹，而表 36.3 把它一次講清楚，並註明各家族的增補。這根主幹有七個要素：一份關於資料結構、遺漏與配合度 (compliance) 的描述；以方程式或毫不含糊的散文寫出的模型設定，語法放補充資料；一份關於估計方法、軟體、版本、設定與收斂診斷 (convergence diagnostics) 的陳述；連同自由度或診斷的推論程序；估計標的與它們的效果量 (effect size)；敏感度的結果；以及視覺化的義務。各家族的增補是具體的，也正是一位方法審查者現在會查的東西：一個成長模型必須報告它的時間編碼 (time coding) 與隨機效果結構 (random effects structure)，一個動態模型必須報告它如何處理定態性與去趨勢 (detrending)，一個混合分配模型必須報告它決定類別數 (number of classes) 的準則與關於類別大小的但書，一個存活模型必須報告它的比例危險 (proportional hazards) 檢核，一個有彈性的模型必須報告它的平滑基底 (basis) 與共曲性 (concurvity)。期刊的現實在這裡介入，因為字數限制迫使材料搬到補充資料 (supplementary materials)，而紀律是：把細節搬到補充資料而不把結果藏起來，好讓讀正文的人學到發現了什麼、讀補充資料的人重建得了它。

36.4 形式化的敏感度教義

每一個方法章都堅持要作敏感度分析，而那份堅持現在可以形式化成一份登錄簿與一套方案 (protocol)。分析岔路登錄簿，也就是圖 36.4 與表 36.4，把依模型家族反覆出現的分析岔路編目起來，包括中心化 (centering) 的變體、時間編碼、隨機效果結構的替代方案、遺漏模型、去趨勢與延宕的選擇、決定類別數與調校 (tuning) 的決定，並把每一個標記成必跑或視脈絡而定。那套方案就是多重宇宙：先把岔路組合預先註冊下來，在管線的網格上系統性地跑完它，並把結果報告成一份設定摘要的呈現，讓每一個估計值連同它背後的分析選擇一起被看見，使分歧的型態變得可見。關鍵的那一步解讀是：會移動結論的那些岔路就是那項發現，因為一個「撐得過每一個站得住腳的選擇」的結論之所以強，恰恰是因為多重宇宙本來有機會推翻它而沒有推翻；而一個在某個中心化決定上翻掉的結論，是一個關於那個中心化的結論。把多重宇宙與 \(p\) 值操弄 (p-hacking) 分開的，是揭露 (disclosure) 與事前指定 (pre-specification)：多重宇宙報告所有的設定，\(p\) 值操弄報告最好看的那一個。

那個範例把這件事變成具體的。問題是一個個體內的問題，也就是「一個人的負向情緒會不會在那個人壓力高於自己平常的那些時點上升」，估計在密集縱貫的 affect_ema 紀錄上，而主要分析，一個個人平均數中心化 (within-person-centered) 的隨機斜率 (random slope) 多層次模型，把反應性 (reactivity) 估計成 \(0.35\)、標準誤 (standard error) \(0.02\)。微型的多重宇宙在一個二十四種站得住腳的設定所構成的網格上重新估計它，交叉了中心化、隨機效果結構、延宕與共變項組合，而圖 36.5 呈現結果：二十四種設定每一種都回傳正的反應性，落在 \(0.31\) 到 \(0.36\) 的緊帶裡，因此「這個反應性是真的、而且是正的」這個結論撐得過每一條岔路，而最會移動大小的那一條岔路是共變項組合 (covariate set)，控制同時的正向情緒會把估計值稍微往下拉。那段誠實的文字自己就從呈現裡寫出來了：反應性在所有站得住腳的設定下都是正的，它的大小穩定在「每一單位個體內壓力大約三分之一個量表點的負向情緒」附近，而沒有任何一項分析選擇推翻這個結論；那是一項單一研究說得出的最強的話，而且只有在多重宇宙被跑過並且被報告出來、而不是挑了單一一個設定的情況下，才說得出口。

註：列是模型家族，行是反覆出現的分析岔路，而每一格把該家族的那條岔路標記成必跑（藍）、視脈絡而定（橘）或不適用（灰）。一個成長模型必須跑它的中心化、時間編碼、隨機效果結構與遺漏岔路；一個存活模型必須跑它的時間編碼、遺漏與間隔岔路。這份登錄簿把本書散落各處的敏感度建議，變成一份預先註冊事前就承諾得了的檢核表。

註：子圖 (a)：在二十四種站得住腳的設定之下估出來的個體內壓力反應性，已排序，並附信賴區間；全部為正，而且落在主要估計（虛線）附近一條窄帶裡。子圖 (b)：每一種設定背後的分析選擇，一條岔路層次一列。估計值最小的那些設定，正是控制了同時正向情緒的那些，指認出共變項組合是移動大小的那條岔路；沒有任何一條岔路改變正負號或改變質性的結論。那份穩健性 (robustness) 只有在整個網格都被跑過之後才看得見，而它就是那項發現。

36.5 縱貫研究的預先註冊

預先註冊買到的是一件具體的東西，也就是把驗證性 (confirmatory) 與探索性 (exploratory) 的分析分開，而它買不到免於思考的自由，也買不到真理的保證。對縱貫與經驗取樣研究而言，它有一些特有的形狀，而表 36.5 把「事前綁得住的」與「必須留給資料決定的」對照起來。即使模型建構真的是反覆迭代的，仍然有很多東西綁得住：估計標的、主要的設定、必跑的岔路組合、納入與配合度的規則，以及「模型將如何被建起來」的那棵決策樹，全都可以在看到資料之前指定，而誠實的中間路線是把決策樹、也就是「選擇將如何被作出」的規則預先註冊下來，而不是註冊一個真實資料一定會逼你放棄的固定終點。次級 (secondary) 與檔案 (archival) 資料，也就是許多縱貫工作所依賴的那種，仍然部分註冊得了：還沒被檢視過的變項、要在留出的切分 (held-out split) 上跑的分析，以及那組敏感度分析，都可以在資料已經存在的情況下承諾下來，因為預先註冊約束的是分析者、不是資料。偏離 (deviation) 是免不了的，也不是失敗；要緊的是它們被記錄下來、被報告出來，好讓讀者看得到分析在哪裡離開了它的計畫、並自行判斷那次離開。這個領域已經發展出來的經驗取樣預先註冊範本，在 Kirtley et al. (2021) 的譜系裡，逐節走過一個密集個體內設計所需要的部分；而一份為第 33 章臨床範例填好的範本，會在任何一次提示被分析之前，先指定它的取樣方案、它的配合度處理、它主要的個體內估計標的，以及它的敏感度組合。

36.6 寫作與存放

把縱貫的結果寫好，由估計標的開始：一句點名目標量的主題句，例如「負向情緒對壓力的個體內反應性為正，且跨設定穩定」，替讀者定位的方式是一句講顯著性的話做不到的。起草的工作流程是圖先行，先把「呈現結果」的那張圖建起來、再寫描述它的散文，因為一個呈現不出來的結果通常也信不過，而報告檢核表上那些視覺化的義務，是靠「畫資料、不只畫模型」來滿足的。不確定性的語言本身就是一門紀律，而表 36.6 把該避免的說法與它們誠實的替代品配成對，因為「壓力造成負向情緒」與「在壓力較高的時點上，同一個人的負向情緒較高」之間的差別，就是「一項設計撐不起的主張」與「一項它撐得起的主張」之間的差別。把一節多模型的結果安排好，意味著把它的車道標示出來，一條主要的車道、一條敏感度的車道與一條探索性的車道，用標題把那份知識論強制執行，好讓讀者絕不會把一項探索性的動態分析誤認成驗證性的。

存放把第 1 章打開的那個迴圈關上。一項縱貫研究的公開典藏庫有一份解剖，圖 36.6，包含原始與衍生資料、程式、一份資料編碼簿、那份預先註冊與稿件，並且分層 (tiered) 放置，使得可以開放的開放、必須保護的受管控 (controlled access)。這份保護對密集縱貫資料最要緊，因為它們密集的行為軌跡在「稀疏調查資料所不會」的意義上是可再識別的：一串時戳與位置，即使名字被移除，仍然單獨指認得出一個人；而表 36.7 列出那些技術，時戳 (timestamp) 粗化、地理資料移除，以及「任何一筆紀錄都不該在它的準識別項 (quasi-identifier) 上是唯一的」那個 \(k\) 匿名性 (k-anonymity) 直覺，連同每一項各自防住什麼、又各自付出什麼代價。當原始軌跡沒辦法安全地開放時，一份由配適好的模型產生的合成 (synthetic) 伴隨資料，也就是本書為每一個實作範例所用的那個裝置，讓讀者重建得了分析而不曝光任何一位參與者，那是一個很合適的收尾對稱：教會這些方法的那些模擬資料集，同時也是安全分享真實資料的範本。

註：一個分層的典藏庫：衍生資料、程式、資料編碼簿、預先註冊與稿件都是開放的，而可能讓參與者被再識別的原始密集資料則受管控存取。當連分層釋出都不安全時，一份由配適好的模型產生的合成資料集，讓讀者重建得了分析而不曝光任何人，那正是本書用來教會每一個方法的同一個裝置。

36.7 從頭到尾的範例

那個範例現在可以整個讀一遍，那是一份走完整套系統的小型研究。問題，以「釘住它的估計標的」的方式措辭，是「負向情緒會不會在一個人壓力較高的那些時點上升」，而估計標的的措辭指引把它導向一個個體內的多層次模型。那份在分析之前歸檔的預先註冊，點名了那個估計標的、把個人平均數中心化的隨機斜率設定當成主要分析、把二十四格的岔路網格當成必跑的敏感度組合，以及一條關於隨機效果結構的決策規則。管線由不可變動的原始提示紀錄建出衍生資料，把主要模型與多重宇宙當成互相獨立的兩支來配適，再畫出那些呈現，而每一個隨機的步驟都由登錄簿取種子。主要分析回傳 \(0.35\) 的反應性，而圖 36.7 以它該被呈現的方式呈現這個結果，不是一個單一的數字，而是一整組逐人的反應性圍繞著合併估計 (pooled estimate) 的分配，平均而言為正、也因人而異，好讓「一個個體內效果在個體間的異質性 (heterogeneity)」看得見、而不是被藏起來。那份敏感度組合，也就是圖 36.5 的設定曲線，確認估計值在全部二十四種設定下都是正的，並指認出共變項組合是唯一會明顯移動它的岔路。對照調和過的檢核表所作的報告稽核，確認資料結構、設定、估計的版本、推論、估計標的、敏感度與視覺化全都在。而存放則把衍生資料、程式、資料編碼簿、預先註冊，以及一份合成的伴隨資料，存進一個分層的典藏庫。每一個動作都追溯得到它的那一章，而整體是一份陌生人重建得了的研究。

註：負向情緒對壓力的逐人反應性，並標出合併的估計值。這個效果對幾乎每一個人都是正的，而它的大小因人而異，那正是「一個個體內效果在個體間的異質性」，一個單一的合併數字會把它藏起來。呈現這個分配、而不是那個點，就是報告檢核表所加諸的視覺化義務，也是上一節所主張的估計標的優先寫作。英文版此圖的檔名是 ch36_fig09_exemplar.pdf，與印出來的圖號 \(36.7\) 不合，圖形腳本的區塊標題也跟著錯；見 EN-36-01。

這本書出發時要讓變化變得可分析，而它結束在它開始的地方，也就是那張地圖。第 1 章把那張地圖畫成一個對「還不知道該用哪個方法的讀者」的承諾；這一章把它當成一次稽核走了一遍，每一個方法都建好、每一張檢核表都調和過、每一條教義都形式化，而整體在一個誠實的例子上被示範過。兩個作為書擋的章節合起來提出的主張是：分析變化不是一份要背下來的技術目錄，而是一門要實行的紀律：為估計標的命名，選問題所隱含的方法，跑它的假設所要求的敏感度，把做了什麼報告出來好讓陌生人看得見，並把它存起來好讓陌生人重建得了。走到這裡的讀者做得到，而那正是重點。