而BERT-Large則是目前最大的BERT模型，具備3.4億個參數。 根據Google在 今年5月公布的論文，該公司利用新的LAMB大批量優化技術，與專為機器學習打造的Cloud TPU v3 Pod超級運算平台進行訓練，把BERT-Large的訓練時間，從3天縮短到76分鐘。 而Nvidia的DGX SuperPOD則只花了53分鐘。

Nvidia宣稱，若以新一代的深度學習推論軟體開發套件TensorRT 8，最佳化超大Transformer模型BERT-Large，並部署在V100上執行，只要1.2毫秒就能完成推論。相較於TensorRT 7，不僅推論時間快一倍、推論準確性也提升一倍 ...

除國語外，T-BERT 訓練也加入臺語客語文獻。 目前研發的AI模型已能將國語新聞自動分類成9大類別，如：財經、國際等類別，準確度達93.7%。