現在的模型都越來越巨大了，尤其是語言模型。搜尋引擎需要即時回傳結果，手機上的模型只有極小的記憶體以及計算能力，都需要將模型輕量化。ONNX是微軟開發的跨平台機器學習套件，可以將各種框架 (PyTorch、TensorFlow 等等) 的模型轉成 ONNX 格式，並且做輕量化。本文以 PyTorch 模型作為範例，使用 ONNX 將之輕量化，在相似精確度下獲得更小的模型、更快的推論速度。所有程式碼都會放在 GitHub model_quatization 上。

今天想要知道發一篇笑話可以在 PTT Joke 版有多少機率鄉民們會覺得好笑，要怎麼做一個合理的模型？做出這個模型有什麼好處呢？可以寫出 PTT 優文賺 P 幣當名人自我感覺良好、讓鄉民的智慧幫你改作文練文筆 (或者可能是網軍的 KPI)。這篇文章會有點長，會從觀察資料到訓練出一個可以使用的模型，不包含 data pipeline 的建立 (例如定期更新資料、重新訓練模型)，不會講模型的原理。本文所有程式碼都會放在 Github。