小麥 XIAOMAI LAB獨立研究,開放合作

週報 #410/26–11/1開發期間

從研究工具走向可核對的模型實作

這週冷載原生 9B 保存點,並讓外接 9B 配合研究工具處理真實來源問題。索引缺陷的模型條件與有界搜尋、工程依賴修補分開記錄;11 月初原生 9B 另完成一題提交,但未證明一般能力提升。

W44 / RESEARCH ATLAS

讓模型讀來源、測方法,再保留結果。

六張圖分開本週研究與 11 月初的後續實跑,保留工程貢獻和未通過的界線。

本週:10/26–11/1後續:11/2–11/4
AI 生成研究觀測台概念插畫,非模型或實驗畫面。
既有概念插畫 · AI 生成 · 非實際模型或執行畫面
01

保存點回到新程序

10 月 27 日的恢復,先確認狀態能重新載入。

本週 · 有限驗證
01保存原生 9B 狀態
02新程序冷載入重新建立程序
03後續待驗問答與新學習

證據邊界此檢查沒有驗收完整問答、新學習或一般能力。

02

讀來源,補證據,再提交

模型查索引與依賴;第一次因缺少 caller 證據遭拒。

本週 · 一道研究題
01查索引定位來源
02追依賴讀取程式
03拒絕後補證據保留狀態續接
04來源核對兩項結論
2項結論通過核對
0次權重更新

證據邊界工具與狀態管理協助的一題;沒有訓練,也不證明一般自主研究。

03

模型條件加有界搜尋

索引排序候選在兩組查詢各自通過。

本週 · 查詢測試
15/24 → 24/24凍結查詢 · 原版至候選
18/18首次未見查詢
查看圖表數據與範圍
索引排序查詢
既定原版15/24
既定候選24/24
未見18/18

證據邊界未見 18 次是 6 個符號碰撞各測 3 種限制,非 18 個獨立符號。模型提出條件,研究工具執行有界搜尋;不是純模型自行修復。

04

工程修補與模型產碼分開記

核心依賴解析與模型生成程式各有自己的測試。

本週 · 不同任務
13/13工程修補 · 既定
10/10工程修補 · 未見
9/13純模型產碼 · 最高
查看圖表數據與範圍
分開的測試結果
工程修補既定13/13
工程修補未見10/10
純模型最高9/13

證據邊界不同測試與不同介入,不能合併為一個模型能力分數。

05

真回饋更新,人工協調續接

這是 11 月 3 日已知 SQLite 題的後續工作。

後續 · 非自動恢復
01候選測量10/10
02value-only 更新revision 3 → 4
03原程序停止資源守衛截止
04人工協調重建後續提交被接受

證據邊界更新後原程序未完成;人工協調續接不是自動故障恢復,也不證明一般能力提升。

06

另一道新題:三個案例,一次提交

模型撰寫 SQL,收到量測後自行選擇並提交候選。

後續 · 新題
3/3同一題案例通過
2個既有檔案
1個缺檔案例
0次 learner 更新
查看圖表數據與範圍
新題案例
既有檔案2
缺檔1
成功/總數3/3
本次 learner 更新0

證據邊界使用既有 revision 5 狀態;這是一次成功提交,不是三道題,也不是新訓練或泛化證明。

07

研究工具如何接在一起?

來源、模型與測量各有角色;圖解只表示本期所述流程。

方法與範圍
01CodeGraph定位程式來源
02模型提出查詢或候選
03SQLite真資料庫案例量測
04提交與核對保留結果與限制

CodeGraph ↗ · SQLite ↗

證據邊界此圖合併呈現不同日期的流程步驟,不表示全部在同一次執行中發生。

接著閱讀完整週報,查背景、失敗與下一步。

這週做成了什麼

小麥想研究的是:系統能否從觀察和矛盾中提出問題,透過實驗檢查方法,再把有用的理解保存下來,讓重啟或換題後的研究也能使用。金融是重要應用方向。本週先處理這條路上的兩個實際問題:原生狀態能否載回,以及模型能否運用工具查清楚真實程式的依賴。

10 月 27 日,原生 9B 的保存點由新的程序冷載入。研究狀態和來源接續有了可檢查的起點,但冷載入不等於回答、研究或新學習都已驗收。同題健康比較中,接續前後的前兩個輸出 token 和兩次完整詞表 logits 相同;接續側產生「A.」並結束,舊側因資源保護停止,沒有完整答案。因此這次不能說兩個版本的完整問答等價,嚴格要求只回答 A 也沒有通過。

到了 11 月 1 日,我把外接量化 9B 接回研究工作台,讓它調查一個真實問題:來源索引有兩個核心類別,檢索卻因匯入路徑解析錯誤而丟掉依賴。原始程式在凍結測試得 4/13;模型收到失敗回饋後的提案得 6/13,兩個真核心依賴仍是 0/2。這是實際量測到的失敗,不能因為工具流程走完就算答對。

另一條工程修補把專案根、套件與匯入路徑的解析補齊。獨立固定驗收 13/13、未見的真核心匯入 10/10;實際檢索入口也能把先前漏掉的兩個依賴送入來源材料。這個修補是工程工作,不是 9B 自己寫出的成功答案。模型後續純產碼最佳為 9/13,沒有候選達到部署門檻。

另一個索引排序問題提供了不同的實驗。低結果預算下,正確符號會被名稱相近的結果擠掉。9B 提出兩個判斷條件,主機在明確上限內組合並量測四個候選,分數依序是 18、15、9 和 24/24;接受的是第四個。它另通過首次未見的 18 個碰撞查詢。這是模型條件加有界搜尋與工具量測的成果,並非模型獨立生成完整正確修補。

工具接線改善後,模型又處理一題真實來源研究。它自行查索引、讀取程式、追蹤依賴並提交兩項結論。第一次提交缺少 caller 證據而被拒,隨後遇到 HTTP 錯誤;修正重複上下文後,以保存的狀態接續,模型自行補讀與追蹤 caller,兩項結論通過獨立來源核對。這是一題經工具與狀態管理支持的成功,沒有更新權重,也不代表一般自主研究已通過。

沒做成的

回饋進到模型,不代表模型能利用它修好程式。原始紀錄包括重複讀同一反例、修好一案卻破壞其他案例,以及不符合要求的輸出。工作台另外修正回饋遺失、事實檢查與測量失敗分類;這些工程改善與模型能力要分開計算。

冷載入只驗證指定保存狀態的接續。截至本週結束,完整原生研究回合、新的更新和同題完整問答仍需要各自驗收。後續的限定成功不等於完整驗收;小型數值或單題的結果也不能推論整個 9B 已等價、加速或改善。

整理時使用 11 月初後續結果補充方向,但不把它們算成本週測試:另一道新 SQLite 題的原生 9B 寫出查詢,對兩個既有檔案與一個缺檔案例得到 3/3,並自行提交、獲後端接受;該次載入既有更新狀態,learner 更新為零。另一道已知題曾由真回饋觸發 value-only 更新,原程序被守衛截止,後來人工協調重建才提交。這不是自動故障恢復,也不是持久能力提升的證明。

接下來

先完成尚未通過的訓練數值與舊狀態恢復檢查,再用未見的新題、相同評分和固定資源上限比較工具、模型與更新各自的效果。已失敗或中止的結果繼續保留。這份週報整理既有紀錄,沒有重跑模型;公開摘要列出選定結果和界線,原始資料、完整日誌、模型權重及私人保存點仍維持私有。

小麥走到哪了

首頁的四個研究步驟,這週各自的狀態。

  1. 從未知出發,也追問自己怎麼研究

    部分做到

    真題工具研究已測,獨立定義問題仍待驗證。

  2. 把說出的理由,對回實際運算

    部分做到

    數值和來源有局部對照,完整訓練門檻仍未過。

  3. 讓新的理解,改變實際做法

    部分做到

    回饋驅動受限更新;尚未證實一般能力提升。

  4. 重啟、換題之後,還能自己用上

    部分做到

    保存狀態已重載;自動恢復與換題泛化待驗。

技術紀錄完整數字、範圍限制與每日紀錄,給研究者核對

每日紀錄

  1. cold-restore原生 9B 保存點由新程序冷載入部分通過
  2. health-check同題前兩個 token 一致,完整問答未過部分通過
  3. archive保存研究來源與歷史材料,保留可回復記錄紀錄
  4. reconnect9B 真實依賴題收到回饋後仍未解未通過
  5. bounded-search模型條件與有界搜尋找出索引排序候選部分通過
  6. engineering工程修復依賴解析,獨立驗收與未見案例通過通過
  7. code-research工具輔助來源研究兩項結論通過核對部分通過

本週完成

原生保存點冷載入與同題部分前綴比較分開;外接 9B 的核心依賴題、工程解析修復、索引排序有界搜尋及來源研究是不同任務,不能合併計算成功率。

驗證與數字

依賴題原始 4/13、模型收到回饋後 6/13,真依賴均 0/2;工程修復固定驗收 13/13,另有未見 10/10。另一索引排序候選在凍結查詢由 15/24 到 24/24,首次未見碰撞為 18/18。來源研究首輪遭拒,狀態接續後兩項結論通過。各分母與作者不同。

失敗與未完成

11 月 2–4 日另有原生 SQLite 新題 3/3 與接受提交,但 learner 更新為零。已知題的 value-only 更新後提交需人工協調重建。完整訓練數值、on-policy 更新、舊狀態完整還原和一般泛化仍待驗。詳細原始研究證據維持私有,公開摘要不是獨立重跑。

作者與 AI 分工

作者決定研究方向與公開範圍;AI 協助程式、實驗、紀錄與核對。模型輸出、有界搜尋和工程修補分開記錄。

下一步

對未通過的數值與恢復路徑做獨立驗證,並在固定資源限制下測試未見題。

核對來源

所有研究週報