完整的工作流程：方法選擇、可重製性與報告

36.1 主決策系統

第 1 章用一張圖引入的那套導引(routing)，現在可以寫成一個有三項輸入、三項輸出的系統。第一項輸入是問題家族(question family)，也就是全書一路使用的那五個之一。第二項是資料結構(data structure)，由每人的時點數、人數、時機的規則性與結果型態來描述。第三項是假設預算(assumption budget)，也就是設計與資料讓你辯護得了的那組假設，包括遺漏機制(missingness mechanism)、測量恆等性(measurement invariance)、動態的定態性(stationarity)，以及量尺的等距(interval)意義。輸出則是這三項輸入所隱含的主要分析(primary analysis)、主要分析的假設所要求的必跑敏感度分析，以及設計撐得起的主張上限。圖 36.1 是完整的地圖，也就是圖 1.5 的對應物，如今由本書發展過的每一個方法填滿，底部再接上本章要形式化的那條工作流程主幹。表 36.1 則是多數學生最先需要的搭檔：最難的一步不是問題被命名之後選方法，而是把問題措辭到它的估計標的毫不含糊。

註：由最上方「為估計標的命名」進入，順著資料結構走到相符的類別，再讀那片葉子上回答各問題家族的方法，其中包含第 1 章之後才發展出來的彈性、動態與非線性工具。紫色帶列出交叉的選擇，綠色帶補上本章要形式化的工作流程主幹。這正是圖 1.5 當初作為承諾畫下的那張地圖，如今在每一個方法都到齊之後，當成一次稽核重走一遍。

決策系統是引導，不是赦免。設計新穎、好幾條路徑同樣站得住腳、或者那些假設排不出優劣時，這套系統與其說失效，不如說把問題連同它被攤開的結構一起交還給你。誠實的回應不是癱瘓，而是一份敏感度組合(sensitivity suite)：把站得住腳的路徑都跑一遍，再報告它們一致還是分歧。三個應用章示範過這套系統在真實問題上怎麼運作：臨床試驗導向成長、退出與聯合模型(joint model)；發展連鎖導向帶著估計標的紀律的追蹤模型家族；雙人日誌導向多層次的行動者與伴侶模型(actor-partner model)。那些導引在那裡已經走完，這裡要強調的只有一件事：每一次都從「為估計標的命名」開始，剩下的交給地圖。

36.2 可重製的縱貫專案

重建不了的結果是一項主張，不是一項發現。縱貫專案在這件事上格外脆弱，因為它把清理、衍生、配適與繪圖這許多階段串在一起，處理的又是抵達時很亂、之後還會繼續演變的資料。可重製的專案建立在幾條紀律上。原始資料是不可變動的(immutable)，只讀不寫，讓每一份衍生資料都追溯得到未被碰過的源頭。套件環境是鎖定的(locked)，產出結果的那些版本既記錄得下來、也還原得回去；同一個縱貫模型在某一版混合模型套件下配適出來的結果，可能與下一版不同。管線是受管理的(managed)，各階段連同依賴關係(dependency)一併宣告出來，改動一項輸入就只重跑依賴它的部分，不多也不少。這既是效率，也是一種文件，因為那張依賴圖就是分析的地圖。每一個隨機的步驟，每一條馬可夫鏈(Markov chain)、每一次拔靴(bootstrap)、每一次模擬與插補(imputation)，都從一顆登錄過的種子抽起，讓隨機性真的可重製，而不只是看起來合理。整個專案再連同一份資料編碼簿(codebook)存進典藏庫，多年後的讀者才重建得了它。圖 36.2 呈現這份解剖，圖 36.3 呈現範例的管線圖，表 36.2 則是每一個專案都該保有的種子登錄簿。

註：原始資料是不可變動的輸入。程式目錄裡的函式加上一個鎖定的套件環境建出衍生資料，衍生資料餵給模型配適，配適再餵給圖表與報告，最後存進公開的典藏庫。箭頭就是管線的依賴關係：改動一項輸入，只重建剛好依賴它的那些。目錄的慣例遵循「檔名帶版本、腳本有標頭、長計算設檢查點」的實驗室標準。

註：每一個節點是一個建置目標(build target)，每一支箭頭是一項依賴。主要配適與多重宇宙配適都依賴衍生資料，彼此則互相獨立，因此改動多重宇宙的程式只會重跑那一支。這張圖由管線工具產生，不是手畫的，因此漂不離實際的分析，那正是它作為文件的價值。

36.3 調和過的報告標準

全書一章一章累積起來的報告檢核表，涵蓋混合模型(mixed model)、成長模型(growth model)、恆等性、混合分配模型(mixture model)、動態模型、網絡(network)、存活分析(survival analysis)，以及有彈性的方法與機器學習，它們共享同一根主幹。表 36.3 把這根主幹一次講清楚，並註明各家族的增補。主幹有七個要素：資料結構、遺漏與配合度(compliance)的描述；以方程式或毫不含糊的散文寫出的模型設定，語法放補充資料；估計方法、軟體、版本、執行選項與收斂診斷(convergence diagnostics)的陳述；推論程序，連同自由度或診斷；估計標的與它們的效果量(effect size)；敏感度的結果；以及視覺化的義務。各家族的增補很具體，也正是方法審查者現在會查的東西。成長模型必須報告時間編碼(time coding)與隨機效果結構(random effects structure)，動態模型必須報告定態性與去趨勢(detrending)怎麼處理，混合分配模型必須報告決定類別數(number of classes)的準則以及關於類別大小的但書，存活模型必須報告比例危險(proportional hazards)檢核，有彈性的模型必須報告平滑基底(basis)與共曲性(concurvity)。期刊的現實在這裡介入：字數限制逼著材料往補充資料(supplementary materials)搬。紀律是把細節搬過去而不把結果藏起來，讓讀正文的人學到發現了什麼，讀補充資料的人重建得了它。

36.4 形式化的敏感度教義

每一個方法章都堅持要作敏感度分析，這份堅持現在可以形式化成一份登錄簿與一套方案(protocol)。分析岔路登錄簿，也就是圖 36.4 與表 36.4，依模型家族把反覆出現的分析岔路編目起來：中心化(centering)的變體、時間編碼、隨機效果結構的替代方案、遺漏模型、去趨勢與延宕的選擇、決定類別數與調校(tuning)的決定，每一條都標記成必跑或視脈絡而定。方案就是多重宇宙：先把岔路組合預先註冊下來，在管線的網格上系統性地跑完，再把結果報告成一份設定摘要的呈現，讓每一個估計值連同它背後的分析選擇一起被看見，分歧的型態也就浮現出來。關鍵的一步解讀是：會移動結論的那些岔路本身就是那項發現。一個撐得過每一種站得住腳選擇的結論之所以強，正是因為多重宇宙本來有機會推翻它而沒有推翻；一個在某個中心化決定上就翻掉的結論，則是一個關於那個中心化的結論。把多重宇宙與 \(p\) 值操弄(p-hacking)分開的是揭露(disclosure)與事前指定(pre-specification)：多重宇宙報告所有的設定，\(p\) 值操弄只報告最好看的那一個。

範例把這件事變得具體。問題是個體內的：一個人的負向情緒會不會在壓力高於自己平常的那些時點上升？估計用的是密集縱貫的 affect_ema 紀錄。主要分析是一個個人平均數中心化(within-person-centered)的隨機斜率(random slope)多層次模型，把反應性(reactivity)估成 \(0.35\)，標準誤(standard error) \(0.02\)。微型的多重宇宙在二十四種站得住腳的設定所構成的網格上重新估計它，交叉了中心化、隨機效果結構、延宕與共變項組合，結果見圖 36.5：二十四種設定全都回傳正的反應性，落在 \(0.31\) 到 \(0.36\) 的窄帶裡。「這個反應性是真的，而且是正的」因此撐得過每一條岔路；最會移動大小的那條岔路是共變項組合(covariate set)，控制同時的正向情緒會把估計值稍微往下拉。那段誠實的文字幾乎自己從呈現裡寫了出來：反應性在所有站得住腳的設定下都是正的，大小穩定在每一單位個體內壓力大約三分之一個量表點的負向情緒附近，沒有任何一項分析選擇推翻它。這是單一研究說得出口的最強的話，而且只有在多重宇宙真的跑過、也真的報告出來，而不是挑了其中一個設定的時候，才說得出口。

註：列是模型家族，行是跨家族反覆出現的那六條分析岔路，每一格把該家族的那條岔路標記成必跑（藍）、視脈絡而定（橘）或不適用（灰）。成長模型必須跑中心化、時間編碼、隨機效果結構與遺漏這四條岔路，存活模型在這六行裡標成必跑的是時間編碼、遺漏與間隔。這六行不是各家族必跑岔路的完整清單，那一份見表 36.4。這份登錄簿把本書散落各處的敏感度建議，收成一份預先註冊事前就承諾得了的檢核表。

註：子圖 (a)：二十四種站得住腳的設定之下估出來的個體內壓力反應性，已排序並附信賴區間；全部為正，落在主要估計（虛線）附近的窄帶裡。子圖 (b)：每一種設定背後的分析選擇，一條岔路層次一列。估計值最小的那幾種設定，正是控制了同時正向情緒的那些，指認出共變項組合就是移動大小的那條岔路；沒有任何一條岔路改變正負號，也沒有任何一條改變質性的結論。這份穩健性(robustness)只有在整個網格跑完之後才看得見，而它本身就是那項發現。

36.5 縱貫研究的預先註冊

預先註冊買到的是一件具體的東西：把驗證性(confirmatory)與探索性(exploratory)的分析分開。它買不到免於思考的自由，也買不到真理的保證。對縱貫與經驗取樣研究來說，它有一些特有的形狀，表 36.5 把事前綁得住的與必須留給資料決定的對照起來。即使模型建構真的要反覆迭代，仍然有很多東西綁得住：估計標的、主要的設定、必跑的岔路組合、納入與配合度的規則，以及模型要怎麼一步步建起來的那棵決策樹，都可以在看到資料之前指定。誠實的中間路線是把決策樹、也就是選擇要依哪一條規則作出，預先註冊下來，而不是註冊一個真實資料一定會逼你放棄的固定終點。次級(secondary)與檔案(archival)資料，也就是許多縱貫工作所依賴的那種，仍然部分註冊得了：還沒檢視過的變項、要在留出的切分(held-out split)上跑的分析，以及那組敏感度分析，都可以在資料已經存在的情況下承諾下來，因為預先註冊約束的是分析者，不是資料。偏離(deviation)免不了，也不算失敗；要緊的是記錄下來、報告出來，讓讀者看得到分析在哪裡離開了它的計畫，並自行判斷那次離開。這個領域已經發展出經驗取樣的預先註冊範本，Kirtley et al. (2021) 一系的那些逐節走過密集個體內設計所需要的部分。一份為第 33 章臨床範例填好的範本，會在任何一次提示被分析之前，先指定取樣方案、配合度的處理、主要的個體內估計標的，以及敏感度組合。

36.6 寫作與存放

把縱貫結果寫好，從估計標的開始：用一句點名目標量的主題句，例如「負向情緒對壓力的個體內反應性為正，且跨設定穩定」。這樣替讀者定位，是一句講顯著性的話做不到的。起草的工作流程是圖先行：先把呈現結果的那張圖建起來，再寫描述它的散文，因為呈現不出來的結果多半也信不過；而報告檢核表上那些視覺化的義務，靠的正是畫資料、不只畫模型。不確定性的語言本身就是一門紀律，表 36.6 把該避免的說法與誠實的替代品配成對。「壓力造成負向情緒」與「在壓力較高的時點上，同一個人的負向情緒較高」之間的差別，就是設計撐不起的主張與設計撐得起的主張之間的差別。安排一節多模型的結果，意思是把車道標示出來：一條主要的、一條敏感度的、一條探索性的，用標題把那份知識論強制執行，讀者才不會把探索性的動態分析誤認成驗證性的。

存放把第 1 章打開的那個迴圈關上。一項縱貫研究的公開典藏庫有它的解剖，見圖 36.6：原始與衍生資料、程式、一份資料編碼簿、預先註冊與稿件，並且分層(tiered)放置，開放得了的開放，必須保護的受管控存取(controlled access)。這份保護對密集縱貫資料最要緊，因為密集的行為軌跡在稀疏調查資料所不會的意義上可以被再識別：一串時戳與位置即使拿掉名字，單獨仍然指認得出一個人。表 36.7 列出那些技術，包括時戳(timestamp)粗化、地理資料移除，以及「任何一筆紀錄都不該在它的準識別項(quasi-identifier)上是唯一的」那個 \(k\) 匿名性(k-anonymity)直覺，並列出每一項各自防住什麼、又各自付出什麼代價。原始軌跡沒辦法安全開放時，一份由配適好的模型產生的合成(synthetic)伴隨資料，也就是本書每一個實作範例所用的那個裝置，讓讀者重建得了分析而不曝光任何一位參與者。這是很合適的收尾對稱：教會這些方法的那些模擬資料集，同時也是安全分享真實資料的範本。

註：一個分層的典藏庫：衍生資料、程式、資料編碼簿、預先註冊與稿件都開放，可能讓參與者被再識別的原始密集資料則受管控存取。連分層釋出都不安全時，改放一份由配適好的模型產生的合成資料集，讓讀者重建得了分析而不曝光任何人；那正是本書用來教會每一個方法的同一個裝置。

36.7 從頭到尾的範例

範例現在可以整個讀一遍，那是一份走完整套系統的小型研究。問題以釘住估計標的方式措辭：負向情緒會不會在一個人壓力較高的那些時點上升？估計標的的措辭指引把它導向個體內的多層次模型。分析之前歸檔的預先註冊，點名了那個估計標的，把個人平均數中心化的隨機斜率設定訂為主要分析，把二十四格的岔路網格訂為必跑的敏感度組合，並寫下一條關於隨機效果結構的決策規則。管線從不可變動的原始提示紀錄建出衍生資料，把主要模型與多重宇宙當成互相獨立的兩支來配適，再畫出那些呈現，每一個隨機的步驟都向登錄簿取種子。主要分析回傳 \(0.35\) 的反應性，圖 36.7 以它該被呈現的方式呈現這個結果：不是一個單一的數字，而是一整組逐人的反應性圍繞著合併估計(pooled estimate)的分配，平均而言為正，也因人而異，好讓一個個體內效果在個體間的異質性(heterogeneity)看得見，而不是被藏起來。敏感度組合，也就是圖 36.5 的設定曲線，確認估計值在全部二十四種設定下都是正的，並指認出共變項組合是唯一會明顯移動它的岔路。對照調和過的檢核表所作的報告稽核，確認資料結構、設定、估計的版本、推論、估計標的、敏感度與視覺化全都在。存放則把衍生資料、程式、資料編碼簿、預先註冊，以及一份合成的伴隨資料，存進一個分層的典藏庫。每一個動作都追溯得到它的那一章，整體則是一份陌生人重建得了的研究。

註：負向情緒對壓力的逐人反應性，並標出合併的估計值。這個效果對幾乎每一個人都是正的，大小卻因人而異，那正是一個個體內效果在個體間的異質性，而單一的合併數字會把它藏起來。呈現這個分配而不是那個點，正是報告檢核表加諸的視覺化義務，也是上一節主張的估計標的優先寫作。英文版此圖的檔名是 ch36_fig09_exemplar.pdf，與印出來的圖號 \(36.7\) 不合，圖形腳本的區塊標題也跟著錯；見 EN-36-01。

本書出發時要讓變化變得可分析，而它結束在它開始的地方，也就是那張地圖。第 1 章把那張地圖畫成一個承諾，給那些還不知道該用哪個方法的讀者；這一章把它當成一次稽核重走一遍，每一個方法都建好了，每一張檢核表都調和過了，每一條教義都形式化了，整體還在一個誠實的例子上示範過。兩個書擋章節合起來提出的主張是：分析變化不是一份要背下來的技術目錄，而是一門要實行的紀律。為估計標的命名，選問題所隱含的方法，跑假設所要求的敏感度，把做了什麼報告出來讓陌生人看得見，並把它存起來讓陌生人重建得了。走到這裡的讀者做得到，那正是重點。

習題

1. 36.1 估計標的措辭。就你自己手上的三個研究問題，各寫出一句把估計標的釘死的措辭，依表 36.1 判定它落在哪一個問題家族，再沿著圖 36.1 走到主要分析，並寫下設計撐得起的主張上限。
2. 36.2 反應性呈現。在 affect_ema 上配適個人平均數中心化的隨機斜率多層次模型，估出個體內的壓力反應性，並依圖 36.7 的作法把逐人的反應性分配連同合併估計一起畫出來，而不是只報一個數字。
3. 36.3 微型多重宇宙。依表 36.4 交叉中心化、隨機效果結構、延宕與共變項組合，把上一題的模型在二十四種設定上重估一遍，重現圖 36.5 的設定曲線，並說清楚估計值最低與最高的那兩種設定各自估的是什麼。
4. 36.4 可重製骨架。依第 36.2 節的四條紀律，把前兩題的分析改建成圖 36.2 那樣的專案：原始資料只讀、環境鎖定、依賴照圖 36.3 宣告、隨機步驟全填進表 36.2 的登錄簿；接著只改多重宇宙那支程式，記下哪些目標被重跑。
5. 36.5 檢核表稽核。取一篇你領域裡近期發表的縱貫論文，逐項對照表 36.3 的主幹與該家族的增補加以稽核，點名缺漏的項目，並依表 36.6 改寫它結果段落裡三句過強的話。
6. 36.6 走完一整輪。把第 36.7 節的範例搬到自己的資料上：歸檔一份依表 36.5 分清事前與事後的預先註冊，事前承諾圖 36.4 上該家族的必跑岔路，最後依圖 36.6 佈成分層典藏庫，並說明你為何選了表 36.7 裡的那一項技術。