電腦工程
神經網路怎麼學、Transformer 怎麼運作、AI 工廠怎麼跑;以及封包怎麼旅行、瀏覽器怎麼渲染、網路實際長在地球哪裡
AI
從一顆神經元到一整棟機房,同一套機制的三個尺度。
神經網路
一顆神經元正向、一顆神經元反向、整個網路正向、整個網路反向,然後串起來。用一個真的跑得動的純量自動微分引擎,把計算圖、鏈鎖律和反向傳播一個節點一個節點攤開;每一個梯度都用有限差分驗證過,每一條決策邊界都是當場算出來的。這是三頁裡的第一頁,接下來是 Transformer,再接下來是 AI 工廠。
Transformer
一個真的訓練過、小到可以親手驗算的 Transformer,就在你的瀏覽器裡跑。一步步看 token 變成向量、位置之間互相看、每個位置各自想、再變回一個字;接著看同一個模型怎麼從隨機權重被訓練出來,以及為什麼「猜下一個字」會長出看起來像知識的東西——包括它學不到的、和它會自信地編出來的。
AI 工廠
AI 五層蛋糕(能源、晶片、基礎設施、模型、應用)實際上在哪裡、怎麼跑。一句 prompt 進到機房、落到某個機櫃某個 tray、在櫃內高速互連上被幾十張加速器一起算,電力與散熱撐著它,最後一個一個 token 回到你的螢幕;另一半是同一座工廠怎麼把這些權重訓練出來。
網路
封包實際怎麼走、網路實際長在哪裡、位元組抵達之後瀏覽器做了什麼。