為什麼 AI 在長對話中越來越差？拆解 Context Rot

Context Rot 是什麼？

Context Rot（上下文腐化）指 AI 輸出品質隨對話或輸入變長而出現的可量度下降。模型開始忘記指示、偏離主題、與自己先前的說法矛盾。這不是你提示寫得差，而是大型語言模型處理長輸入時的已知特性。

如果你的 AI 輸出品質參差，開始時精準、一小時後變得馬虎，你並沒有操作失誤。你只是在親眼目睹 Context Rot 發生。

Chroma 於 2025 年發表的研究測試了 18 個前沿模型，包括 GPT 和 Claude 系列，發現每一個模型的表現都隨輸入長度增加而下降，即使任務簡單如從輸入前段找回一項事實。上下文視窗越做越大，這個問題就越值得認真看待。

為什麼對話越長，AI 表現越差？

模型對上下文視窗內各部分的注意力並不平均。輸入開頭和結尾的內容獲得較高權重，中間部分則被低估。再加上長時間來回累積的雜訊，模型對整個對話的實際掌握能力會縮小，儘管所有內容技術上仍然「在」視窗之內。

這個現象的學術版本是「lost in the middle」效應。史丹福研究人員在一項被廣泛引用的研究中證實：資訊放在輸入開頭或結尾時，模型找回它的可靠度遠高於資訊埋在中間的情況。

另外還有雜訊問題。一節兩小時的工作對話會累積大量死胡同、被否決的草稿和放棄了的支線。這些內容全部留在上下文中，全部與你真正關心的資料爭奪模型的注意力。

因此「視窗夠大，全部貼進去就行」只說對了一半。容量和注意力是兩種不同的資源。視窗變大了，注意力並沒有跟著變大。

如何判斷 Context Rot 已經出現？

可靠的警號包括：模型重新問你已經回答過的問題、忽略它先前一直遵守的格式規則、把同一對話中兩個不同題目的細節混在一起，或者答案越寫越長卻越來越空泛。出現任何一項，代表這段對話已超過其有效長度。

舉一個具體例子：你在第一則訊息設定了風格規則（「所有文案 50 字以內，不用感嘆號」）。頭十個輸出它都遵守。到第二十個輸出，感嘆號回來了。規則沒有從視窗中消失，只是從注意力中消失了。

很多用戶的反應是責備模型（「我說過不要感嘆號！」），這只會在上下文中間增加更多雜訊，令根本問題輕微惡化。解決方法在於結構，不在於語氣。

如何解決 Context Rot？

解決方法是主動管理上下文：決定什麼留在對話中、什麼需要壓縮成摘要、何時應該重新開始。五個習慣覆蓋大部分情況，全部不需要技術背景。

1. 把對話當作用完即棄。一個任務一個對話。任務改變時，開新對話，而不是把舊對話扭向新方向。

2. 摘要後重啟。長對話開始飄移時，要求模型把整節對話的狀態壓縮成一份交接筆記，然後把筆記貼到全新對話中。你保留了所有決定，丟掉了所有雜訊。確切的提示在下一節。

3. 重要內容放最前和最後。常設規則和關鍵參考資料放在最開頭。在長輸入的結尾提出最終問題時，把關鍵限制條件重述一次。中間位置是指示被忽略的地方。

4. 在對話之外保存一份常設簡報。把你的風格規則、項目背景和偏好存放在一份文件中，或使用專為此設計的功能，例如 Claude 的 Projects 或 ChatGPT 的自訂指令。存放在對話之外的參考資料，不會在對話之內腐化。

5. 貼上之前先修剪。當只有 4 頁相關時，餵給模型 40 頁不會令答案更好。長上下文測試一致顯示，干擾材料越多，找回準確率越低。相關性勝過份量。

「摘要後重啟」提示範本

這是整份清單中價值最高的習慣。每當一節高效的對話開始變得混濁，通常在 20 至 30 個來回之後，就執行它。

試試這個提示：

「這段對話越來越長，我想在新對話中繼續。請寫一份交接簡報給下一節對話，包括：(1) 我們正在達成的目標，一句話說明；(2) 到目前為止的每一項決定，以點列呈現；(3) 我給過你的所有常設規則和偏好，準確表述；(4) 工作的目前狀態，包括任何草稿的最新完整版本；(5) 下一步要做什麼。不要寬鬆地概括，任何含糊之處請引用我的原話。只輸出簡報本身，方便直接貼上。」

然後開一個新對話，把簡報貼上作為第一則訊息，再加一句：「確認你已完全吸收這份簡報，然後繼續下一步。」這個確認步驟迫使模型真正處理交接內容才開始工作。

第 (3) 項最重要。在新對話開頭重述的規則，正好處於注意力最高的位置，而這正是舊對話中被遺忘的規則所缺少的待遇。

管理長對話有哪些常見錯誤？

三個陷阱連資深用戶都會中招。每一個都令人感覺高效，實際上卻在悄悄拖低輸出品質。

把馬拉松式對話當成勳章。一段 300 則訊息的對話不是深度協作，超過某個長度後它是負資產。模型不會在長對話中越來越了解你，它只會得到一個雜訊越來越多的視窗。

重複提醒而不重啟。每隔幾則訊息重申規則確實能短暫喚回注意力，但同時也在複製內容，令視窗膨脹得更快。一次乾淨的重啟勝過十次提醒。

信任記憶而不驗證。在長對話中，永遠不要假設模型仍記得一小時前的限制條件。交付最終成果之前先問：「列出你目前為這個任務遵守的所有規則。」如果清單不對，先重啟再打磨。

總結

Context Rot 不是靠更聰明的措辭就能繞過的缺陷，而是長輸入的結構性特質。能穩定獲得高品質輸出的人，都是刻意管理視窗的人：對話保持精短、交接保持乾淨、規則放在注意力所在的邊緣位置。

本週練好「摘要後重啟」這個習慣，一天之內你就會感受到分別。科技應該遷就你的工作方式，而不是倒過來。懂AI的冷，更懂你的難。UD 同行28年，讓科技成為有溫度的陪伴。

你的 AI 功力去到哪個級別？

上下文管理是區分普通用戶與高手的技能之一。做一次 AI IQ 測試，看看你目前的水平。當你準備把可靠的 AI 工作流程建入日常營運，UD 團隊手把手帶你完成每一步，從配置到部署。