現在的模型都越來越巨大了，尤其是語言模型。搜尋引擎需要即時回傳結果，手機上的模型只有極小的記憶體以及計算能力，都需要將模型輕量化。ONNX是微軟開發的跨平台機器學習套件，可以將各種框架 (PyTorch、TensorFlow 等等) 的模型轉成 ONNX 格式，並且做輕量化。本文以 PyTorch 模型作為範例，使用 ONNX 將之輕量化，在相似精確度下獲得更小的模型、更快的推論速度。所有程式碼都會放在 GitHub model_quatization 上。

今年 NVIDIA 在台灣開了一個新的元宇宙部門大徵才，各種職位都有，連前端工程師、研發科學家都有，我去面試了其中的深度學習工程師。

ChatGPT 的產品化讓世界又掀起一波 AI 熱潮，這次跟 AlphaGo 不一樣，所有人都可以去註冊一個帳號來玩。除了文字生成的 AI，還有圖像生成的 AI 產出無法與人類作品分辨的影像成品，也是人人都可以試用。連不會寫程式的人都可以輕鬆使用，肯定是會一定程度影響機器學習工程師的工作，但我認為機器學習工程師還是可以持續產生價值。

在 2021 下半年的時候面了 Amazon 跟 Microsoft 兩家，可惜都在 virtual onsite 後被拒絕，投的職缺都是 software engineer in machine learning。這邊分享一下面試經過跟我的準備方法。

我在業界也做了六年機器學習工程師 (雖然職稱都不是這個，不過我覺得工作內容是)，在深度學習熱潮起來以前就入行。工作內容包含將商業問題轉換成 機器學習可解的問題並且將解出來的模型跟系統組的同事合作推上線，有時候也要處理 data pipeline。分享一下我認為作為機器學習工程師需要的數學能力。

自監督學習 (self-supervised learning) 是最近開始很熱門的題目，個人認為也是機器學習中充滿潛力的領域。本文會介紹什麼是自監督學習，以及相關的應用。

Multitask Deep Neural Networks for Natural Language Understading 是微軟發在 ACL 2019 的論文：論文連結。

Kaggle 做為世界最大的機器學習競賽平台，上面隨時有比賽正在進行，而比賽通常會有獎金。更重要的是，如果想找一個機器學習或資料科學相關的工作，在 Kaggle 拿到好成績可以讓你的履歷加分不少。

今天想要知道發一篇笑話可以在 PTT Joke 版有多少機率鄉民們會覺得好笑，要怎麼做一個合理的模型？做出這個模型有什麼好處呢？可以寫出 PTT 優文賺 P 幣當名人自我感覺良好、讓鄉民的智慧幫你改作文練文筆 (或者可能是網軍的 KPI)。這篇文章會有點長，會從觀察資料到訓練出一個可以使用的模型，不包含 data pipeline 的建立 (例如定期更新資料、重新訓練模型)，不會講模型的原理。本文所有程式碼都會放在 Github。

記錄一下 2019 年面試新加坡 QuantumBlack (麥肯錫) data scientist 的經驗。