說真的，每次看到AI視頻生成的Demo都讓我心跳加速，但轉頭自己試玩的時候，常常卡在「生成出來像幻燈片」或是「五官直接崩成抽象畫」。這幾年技術迭代快得嚇人，從最早只能出幾秒的模糊片段，到現在能跑出十幾秒、有連貫動作的影片，背後其實是撞破了好幾道硬牆。
算力與架構的雙重革命
很多人以為瓶頸只在於GPU夠不夠強，但其實更關鍵的是模型架構無法有效處理時間維度。早期AI視頻生成直接把圖像生成那套搬過來，每幀獨立繪製，結果前後幀人物一轉頭就「變臉」。後來擴散模型（Diffusion Model）加入了3D卷積或時序注意力機制，才開始能捕捉連續運動。不過代價是計算量暴增——訓練一個能產出流暢10秒影片的模型，所需算力可能比訓練同等級圖像模型高出百倍。業界解法之一是引入「時空壓縮」，像Meta的Make-A-Video就把影片壓成更緊湊的潛在表示，在降維空間裡計算，大幅降低資源需求。我記得某團隊甚至用影片中的關鍵幀先預測中間動畫，再補細節，類似動畫師的「原畫＋補幀」邏輯，效果意外地自然。
數據質量的隱形枷鎖
另一個大家比較少談的瓶頸是訓練數據。網路上的影片大多數帶有抖動、切鏡、雜訊，直接拿來訓練，模型學到的全是壞習慣——生成結果不是閃爍就是跳幀。有些研究團隊開始手動清洗資料集，只保留穩定、高解析、鏡頭平穩的片段，但成本高得嚇人。Google的VideoPoet團隊則換個思路，用文字－影片對偶數據預訓練，再透過大量靜態圖像做微調，讓模型先學會靜止場景的細節，再過渡到動態。我個人覺得這個方法挺聰明，畢竟乾淨的高品質影片太難找了，但好圖片到處都是。
從「貼布偶」到「真表演」
最讓我興奮的突破，大概是運動連貫性和角色一致性。之前很多工具生成的人物動起來像提線木偶，四肢僵硬。最近Runway和Pika的更新，開始引入骨架控制（Skeleton Control）或姿勢引導，用戶能先給一個動作骨架圖，模型根據骨架去生成符合生物力學的動畫。再加上LoRA（低秩適應）技術的成熟，現在甚至能用幾張照片訓練出專屬角色模型，讓同一個角色出現在不同場景、不同動作中，臉不崩、衣服不亂。我有個朋友用這個做了自己動漫化身的跳舞影片，雖然細節還有破綻，但比起一年前的結果已經是天壤之別。
還有得磨，但方向越來越明確
說到底，AI視頻生成現在還處在「能看但經不起細看」的階段，特別是高動態場景、手指動作、複雜光影仍然常出錯。不過從業內公開的論文和開源專案來看，三大問題都有了明確解法：用時空注意力取代獨立幀生成、用數據增強和知識蒸餾降低推理成本、用骨架與語義控制提升連貫性。或許再過一年，我們就能對著手機說「拍一支貓在鋼琴上跳舞的短片」，而它真的能產出不用後製就能發朋友圈的成品——老實說，我還挺期待那天的。
評論（5）
試過幾次，生成出來都像鬼片 😂
骨架控制具體怎麼弄？要自己畫骨架圖嗎？有沒有教程？
之前拿Runway試過一輪，動作流暢度真的比半年前好不少
還要再等一陣子，現在bug還是太多
骨架控制這招太棒了！