
我看到 Linux of AI 這個 repo 時,第一個反應其實有點微妙。名字很大,README 寫的是「free, open, portable AI infrastructure」,但 repo 當下只有 4 個 commits、0 stars、0 forks,也沒有 release。這種組合很容易讓人先退一步,想說這到底是可用工具,還是一份願景檔案?
看完 README 後,我比較合理的讀法,是它把 AI 系統裡幾個常被綁死的部分拆出來,做成一組可攜的開源小工具。核心問題很實際,當應用程式一路依賴某個 model provider、SDK、API 格式和定價模型,後面想換供應商時,通常換 endpoint 還不夠。prompt、policy、log、成本估算和業務語意都可能卡在原本的平臺裡。
這邊的七個專案分工很清楚。OpenOntologyLite 管組織語意,把 entities、relationships、actions 和 permissions 放到 YAML 或 JSON。AgentPolicyPack 管 agent 可以做什麼,走 policy-as-code。AgentForge 負責 multi-agent orchestration,包含 model routing、budget controls、RBAC、memory、audit logging 和 observability。PrivateAIStack 走 local-first deployment,用 Ollama、FastAPI、PostgreSQL 和 pgvector 這些元件當起點。ModelSwapBench 做模型替換評估。AIAuditLog 提供 audit-event JSONL 與 hash chaining。AIMeter OSS 則把 usage、cost、efficiency 和 outcome 放在一起看。
我覺得 README 裡最值得看的,其實是 Vendor Exit Demo。它說 demo 是 deterministic、offline-first,會用 portable ontology、policy、benchmarking、audit evidence 和成本/結果測量,去評估能不能替換昂貴或被鎖住的模型。這個方向滿健康的,因為模型替換不能只看「API 有沒有回」。如果替換後成本下降,但 outcome 不可接受,那只是把帳單問題換成產品問題;如果 outcome 還行,但 audit evidence 和 policy 跟不上,風險會跑到別的地方。
AIMeter OSS 那段也寫得很剋制。README 特別說 missing pricing 不會當成 0,calculated cost 不是 invoice-confirmed cost,projected savings 也不等於 realized savings。這些邊界很重要,因為 AI 成本常被簡化成 token 單價比較,可是真正難算的是一次任務有沒有成功,以及不同模型路由後整體結果有沒有變好。
AIAuditLog 也有類似的邊界宣告。Tamper-evident 不等於 immutable,signature 本身不能證明真實世界身分,audit logs 也不會自動產生 legal non-repudiation 或 regulatory compliance。這些話聽起來不華麗,但工程上反而比較可信。README 沒有把 tamper-evident 講成 immutable,也沒有把 audit logs 講成合規保證,這點我會加分。
如果要挑一個可能的風險,我會看整合成本。七個專案各自能獨立使用,合起來也有一套 architecture,但實務上團隊要匯入 ontology、policy、orchestration、private deployment、benchmark、audit log 和 cost/outcome measurement,會碰到七個 layer 要怎麼串、哪些先用、哪些先不要用。README 有給 Best First Path,從 docs/start-here.md、examples/vendor-exit-demo/、ModelSwapBench、AIMeter OSS,再接 AgentPolicyPack 和 AIAuditLog。這個順序比一口氣吃完整套合理。
所以 Linux of AI 目前比較像一個「可攜 AI 基礎設施」的總整理與起點。它把 vendor lock-in 拆成幾個可檢查的面向:業務語意放哪裡,agent 行為怎麼管,模型怎麼換,證據怎麼留,成本和結果怎麼算。至於這套生態系能不能長期維護,README 也把答案留在貢獻、sponsorship、grants、research partnerships 和 optional support 上。以一個還很早期的公開 repo 來看,我會先從 vendor-exit demo 和 AIMeter OSS 看起。