單元 3・認識 AI 這個同事
AI 到底是怎麼想出答案的
- 第 6 堂
- 8 分鐘
- 官方原課:生成式 AI 基礎
本課內容
生成式 AI 是什麼、怎麼運作、為什麼這幾年才突然變這麼強。不用背名詞,觀念懂了就好。
影片即將上線
重點整理
- 分析 vs 生成:舊的 AI 會判斷一封信是不是垃圾信;生成式 AI(會自己做出新東西的 AI)會寫一封全新的信
- 大型語言模型 LLM:被訓練來預測、產生人類語言的程式。「大型」是因為它有幾十億個參數(決定它怎麼想的小開關)
- 三件事同時到位,才有今天的 AI:
- 方法突破:2017 年的 Transformer(一種很會看懂長句子的設計)
- 資料爆量:網路上大量的文字變成訓練教材
- 算力大增:GPU 這類很會算數學的晶片
- 縮放定律:模型越大、資料越多、算力越強,表現就照預期變好
- 湧現能力:模型變大後,冒出沒人特別教過的本事,例如一步一步推理
- 預訓練:讓模型看超大量文字,一直練習猜下一個字
- 微調:再教它聽懂指令、好好回答、不講有害的話,會用到人類的回饋
- AI 不是查資料庫:它是照學到的規律「接著寫」,不是去翻一份寫好的答案
- 上下文視窗:AI 的短期記憶,包括你的提示、它的回答、你給的資料。超出範圍的它就用不到
小學生比喻
- 分析 vs 生成 = 老師改考卷(判斷對錯)vs 學生寫作文(寫出新東西)
- 預訓練 = 玩文字接龍玩了幾十億次,越來越會猜下一個字
- 微調 = 老師再教它:別人問問題要好好回答、要有禮貌、不能講壞話
- 湧現能力 = 跳繩練了很久,有一天突然會雙迴旋了,沒有人特別教過
- AI 不是查字典,是在接著寫,所以有時候會寫錯
- 上下文視窗 = 黑板只有這麼大,寫滿了前面的就要擦掉
接下來
下一堂〈AI 擅長什麼、會在哪裡出包〉:把 AI 當新同事:先知道他的長處和短處,合作才會順。
打勾的紀錄只存在這台裝置的瀏覽器。