010. 從寫提示詞到做給 AI 看|介面正在換一種語言

當工作流程很難用文字交代清楚時,最自然的指令可能不是更長的 prompt,而是一段可被觀察的操作。

這支 PAPAYA 電腦教室影片 介紹的是 Codex 的 Record & Replay 外掛。它的概念很直覺:使用者先在螢幕上示範一次工作流程,Codex 觀察、整理並產生一份 Skill;下次遇到相似任務時,使用者只要提出需求,Codex 就能參考那份 Skill 重新執行。

影片示範的不是抽象 demo,而是兩個很典型的辦公室任務。第一個案例是把 Gmail 收據裡的公司名稱、日期、金額整理進 Google 試算表。第二個案例是把產品資料登記進 Excel 庫存表,並把對應圖片插入儲存格。這些工作不一定困難,卻很難一次用文字講乾淨:要開哪個頁面、複製哪個欄位、貼到哪一格、什麼時候算完成,都藏在日常操作細節裡。

Record & Replay 觸碰到的核心問題是:**AI agent 的瓶頸常常不是能力,而是任務表達。**如果人類必須把每一步都寫成精準提示詞,很多低價值重複工作反而不值得自動化;但如果人類能「做一次」,讓 AI 把流程整理成可重用規則,AI 才更接近真正接手日常工作。

圖 01:Codex Record & Replay 把操作示範轉成可重用 Skill

這也讓 Skill 的角色變得更具體。它不是神秘的智能模組,而是一份被結構化的操作手冊:什麼情境觸發、應該執行哪些步驟、最後如何驗證。錄製只是入口,真正有價值的是 Codex 把一次示範轉成可管理、可停用、可刪除、可重播的工作資產。

給讀者的 Takeaway

  • Record & Replay 解決的是「流程難以文字化」的問題。
  • Skill 可以理解成一份由 AI 整理的操作手冊。
  • 示範一次如果能重播多次,才值得錄製。

021. 安裝只是前菜|真正的門檻是授權與邊界

讓 AI 觀看與控制電腦之前,使用者要先知道自己打開了哪幾道門。

影片中的啟用流程很短:先在 Codex 設定裡進入 Computer Use,開啟「控制電腦」與「控制瀏覽器」,再到外掛程式搜尋 Record & Replay。建立新對話後,用 @Record 載入外掛,對它說「開始錄製」,系統跳出授權視窗後就會開始螢幕錄製。

這些步驟看起來像一般外掛安裝,但它其實牽涉到更高權限。AI 不只是讀一段文字,也可能觀察畫面、操作瀏覽器、理解檔案與表格中的內容。這正是它有用的地方,也是它需要被謹慎使用的地方。

對團隊而言,Record & Replay 不應只被視為個人效率工具。它比較像一種「工作流採樣」機制:先記錄人類完成任務的方式,再把任務抽象成可重複執行的 Skill。若這份 Skill 會碰到客戶資料、付款資訊、內部文件或權限系統,就需要先定義什麼可以被錄、什麼不該被錄,以及重播時是否需要人工確認。

影片示範的收據與庫存案例剛好很適合入門,因為它們有明確輸入、明確欄位、明確完成狀態。相反地,如果流程牽涉大量判斷、例外條件很多、資料敏感,或每次介面差異都很大,先錄製未必是最好的起點。比較務實的做法,是先把規則整理乾淨,再讓 Record & Replay 捕捉穩定部分。

給讀者的 Takeaway

  • 開啟 Computer Use 意味著 AI 可以觀察與操作更多環境。
  • 適合錄製的流程,通常輸入與完成條件都很清楚。
  • 涉及敏感資料時,Skill 應該搭配權限與人工確認。

032. 第一個案例|收據登錄為什麼適合錄製

重複、欄位固定、驗證明確,是 Record & Replay 最舒服的任務形狀。

影片第一個案例是把 AI 服務收據登記到 Google 試算表。使用者先從 Gmail 收據複製公司名稱,再到 Google Drive 開啟試算表,把名稱貼到「公司」欄位;接著重複同樣流程,把日期與消費金額貼到對應欄位。完成後按下「結束錄製」,Codex 便分析剛剛的操作,產生一份 Skill。

這個案例值得注意的不是「複製貼上很簡單」,而是它把一段日常雜務拆成了 AI 能理解的結構。觸發條件是「把 Gmail 收據登記到 Google 試算表」。執行步驟包括開啟信件、讀取收據資訊、找到試算表、寫入欄位。驗證方式則是檢查資料是否出現在正確列與正確欄。

影片也提到,重播時 Codex 在預設情況下會優先嘗試用程式碼腳本完成任務,而不是單純靠滑鼠一頁一頁點。這是一個重要細節。Record & Replay 並不等於把人類滑鼠軌跡機械複製一遍;更理想的狀態,是讓 Codex 從示範中理解目標,再選擇更穩定、更快的執行方式。

這也是為什麼收據登錄很適合錄製。它的畫面操作只是示範,真正的任務是資料搬運與欄位對應。只要資料來源、欄位名稱與驗證規則清楚,AI 就有機會把畫面流程升級成更可靠的自動化,而不是停留在脆弱的 UI 點擊。

給讀者的 Takeaway

  • 好的錄製流程會自然形成 trigger、steps、verification。
  • Record & Replay 的價值不是重播滑鼠,而是抽出任務意圖。
  • 表格填寫、收據整理、固定欄位搬運,是很好的第一批候選。

043. 第二個案例|當流程需要看畫面脈絡

有些任務不是不會寫規則,而是規則藏在介面位置、檔案選擇與人工習慣裡。

第二個案例是產品庫存 Excel。小明收到新產品資料,需要把表格貼到公司產品庫存檔的底部,還要為每項產品插入對應圖片。示範時,他開啟新產品資料表、複製表格、切到庫存 Excel、捲到表格底部貼上,再透過「插入圖片」把產品圖放進指定儲存格。

這類任務比收據登錄更能說明 Record & Replay 的定位。純文字 prompt 可以寫「把產品資料加入 Excel,並插入圖片」,但要讓 AI 第一次就知道圖片在哪個資料夾、要放到哪個儲存格、表格底部如何判斷、每次插圖要用哪個選單,並不容易。人類示範一次,反而比寫一長串操作說明更有效。

不過這個案例也提醒我們,錄製不是萬能。只要圖片命名不一致、庫存表格式常改、產品資料來源變動很大,Skill 就可能需要更新。Record & Replay 最好被看成「把穩定流程封裝起來」的工具,而不是把混亂流程神奇變穩定的工具。

影片最後提到,之後小明可以讓 Codex 自動挑出最合適的 Skill,也可以用斜線選單手動指定特定 Skill。這個設計很合理:自動挑選降低使用成本,手動指定則保留控制權。當一個人或團隊累積很多 Skill 時,光靠記憶觸發語會變得混亂,管理介面與命名規則會越來越重要。

給讀者的 Takeaway

  • 需要畫面脈絡的任務,正是錄製示範的強項。
  • 但流程本身要穩定,Skill 才能長期重播。
  • Skill 累積後,命名、停用、刪除與手動指定會變得重要。

054. 判斷框架|什麼任務值得錄成 Skill

最值得錄製的,不是最複雜的工作,而是重複且可驗證的工作。

可以用四個問題判斷一個任務是否適合 Record & Replay:

第一,這件事是否重複發生?如果只做一次,錄製、整理、測試 Skill 的成本可能不划算。第二,流程是否有穩定規則?例如固定欄位、固定檔案位置、固定驗證方式。第三,任務是否需要畫面脈絡?如果純 API 或腳本就能解決,也許不用錄製。第四,重播失敗時是否容易發現?例如試算表多了一列、圖片是否插入、欄位是否完整。

圖 02:從錄製到 Skill 的任務判斷框架

反過來說,不適合一開始就錄製的任務也很明確。例外條件很多、流程尚未標準化、每次資料格式都不同、涉及敏感資料或權限限制、需要高度主觀判斷的工作,都應該先整理規則。否則錄下來的只是一段混亂,而不是可重播的能力。

這裡有一個工程上的類比:Record & Replay 像是把人類操作轉成測試案例與自動化腳本的混合體。錄製能降低建置成本,但後續仍需要命名、版本管理、驗證、停用與更新。當 Skill 變成工作資產,就需要用管理工作資產的方式對待它。

給讀者的 Takeaway

  • 值得錄的任務要重複、穩定、可驗證。
  • 例外多或流程未定時,先整理規則再錄。
  • Skill 不是一次性產物,而是需要維護的工作流資產。

065. 編輯觀點|示範會成為 AI 工作流的新入口

Prompt 不會消失,但人類不該被迫把所有經驗都翻譯成文字。

Record & Replay 最有意思的地方,不只是「Codex 多了一個外掛」,而是它把 AI 指令介面往前推了一步。過去我們把需求交給 AI,主要靠自然語言;現在,操作本身也可以成為訓練材料。人類不必把每個細節都寫出來,而是讓 AI 先觀察,再把觀察結果整理成可重用 Skill。

這種模式很可能會擴散到更多工具。因為許多真實工作並不是純文字任務,而是跨 Gmail、雲端硬碟、試算表、Excel、瀏覽器、內部系統的混合流程。對這種工作,最難的是讓 AI 建立環境感與步驟感。錄製示範提供了一條捷徑。

但捷徑不等於不用設計。好的 AI 工作流仍然需要清楚邊界:何時觸發、能碰哪些資料、失敗如何回報、重播前是否需要確認、輸出如何驗證。Record & Replay 把「建立 Skill」變得更容易,卻不會自動替團隊做好治理。

如果把它放在更大的 AI agent 發展脈絡裡看,這是一個很實用的方向。不是每個人都會寫 automation script,也不是每個人都能寫出精準 prompt;但多數人都能示範一次自己平常怎麼做。當 AI 能把示範轉成可重播能力,日常工作的自動化門檻會明顯下降。

給讀者的 Takeaway

  • 示範是一種比長 prompt 更自然的任務表達方式。
  • Record & Replay 讓 AI 更容易接住跨工具的日常流程。
  • 真正落地時,仍要補上權限、驗證與維護機制。