ChatGPT 的產品化讓世界又掀起一波 AI 熱潮，這次跟 AlphaGo 不一樣，所有人都可以去註冊一個帳號來玩。除了文字生成的 AI，還有圖像生成的 AI 產出無法與人類作品分辨的影像成品，也是人人都可以試用。連不會寫程式的人都可以輕鬆使用，肯定是會一定程度影響機器學習工程師的工作，但我認為機器學習工程師還是可以持續產生價值。
現在的機器學習工作
以模型開發來說，現在機器學習工作大致可以分成兩類：開發新模型架構、發論文，以及將現有的模型應用在自己公司的情境下。開發新模型其實範圍很廣，不只是做一個新架構然後訓練一個效果好的模型，還有很多工作，像是做新的 optimizer、新的 activation function、底層的數學理論證明，諸如此類。這些工作並不會被生成式 AI 取代，未來還是會持續存在。
將現有的模型應用在自己公司的情境下，有了 ChatGPT，或許可以取代一些對話機器人，如果不行，做一些微調 (finetune，用自己的訓練資料讓預訓練模型產生更客製化的預測結果) 以後就可以了。ChatGPT 就像是一個非開源的預訓練 BERT、EfficeintNet，一個巨大的預訓練模型。直接使用可以得到基本的結果，但 finetune 後可以得到更好的結果。如何去 finetune 就是機器學習工程師可以貢獻價值的地方。
資料永遠最重要
對模型成效最重要的事情永遠是資料，選好當下最適合的模型，簡單調一組參數就會有一定的成效。花太多力氣在模型架構、參數上成效會有進步，但不會太多。尤其如果使用預訓練模型，改變架構到一定程度原本的預訓練就無效了。沒有資料跟計算資源重新預訓練反而成效更差。而改變使用資料的方法，或是特徵，或是加入新的資料永遠有機會讓效果大幅提升。前幾年我還有在打 Kaggle 比賽時，多數比賽得獎者都是對資料有好的觀察，進而做出聰明的前處理或是找到良好的特徵，因此得到比別人好的成效獲獎。發明新模型成為得獎關鍵的已經很久沒聽到了 (也可能是我孤陋寡聞啦，很久沒有打 Kaggle 了)。怎麼適當地處理資料、找到好特徵就是機器學習工程師的價值所在。
特徵以外，怎麼好好地將一個商業問題轉換成數學問題，設計合適的指標，進而將資料分成訓練資料、驗證資料、解讀實驗結果也很重要，這些都模型以外但是對成果非常重要的事情。市面上已經有很多所有不用寫程式也可以做模型的產品，但機器學習工程師並沒有被那些產品取代。寫程式的工作會減少，機器學習工程師反而可以專注在更無可取代 (可能有些人會覺得更有趣) 的地方貢獻價值。
數學才是機器學習的底層邏輯
八年前，AI 第一次在影像分類上得到超越人類的結果，發展到今天，各種新的模型出現又消失，當年的模型已經沒有人在用了。ChatGPT 也是每年在改版、重新訓練、得到顯著更好的結果，而舊的模型就被丟掉了。一直在追各種最新模型一定永遠都追不完。 熟悉機器學習的人一定熟悉微積分，微積分被發明經過了幾百年，有些新的定理被證明、有些證明被重寫地更優雅。不管這之間發生了多少事情，微分、積分都是一樣。在 data-driven 的工作裡，數學永遠最重要。並不是要懂什麼實分析、隨機微積分等等高深數學，或是閉著眼睛推導證明微積分基本定理。而是真的理解用到的數學是怎麼一回事，拿到商業問題時才知道怎麼將它轉換成機器學習可解的問題。當結果不如預期時才知道到底發生了什麼事情，知道怎麼去修正它。 或許未來 finetune 預訓練模型時不再需要真的寫程式做 back probagation 去更新模型參數，或許更多人有能力運用機器學習來解決問題，但 $\frac{d}{dx}e^x$ 依舊是 $e^x$。