評估機器學習模型於內科門診偵測用藥錯誤的國際可移轉性：多中心初步驗證研究
目前多數預防用藥錯誤的系統仍以法則式方法建構，但由於準確性有限，過多的誤報容易使醫療人員對警示產生麻痺，進而造成警示疲勞。本研究團隊過去曾利用台灣本地資料庫（Taiwan's local databases, TLD）開發機器學習模型，以改善此類問題。本研究進一步評估該模型的國際可移轉性，並探討聯邦學習（Federated Learning）方法是否能進一步提升模型準確性。 |
目的
本研究旨在評估一項用於偵測用藥錯誤的機器學習模型之國際可移轉性，並探討聯邦學習方法是否能進一步提升模型的準確性。
方法
使用來自兩家大型美國醫學中心的 667,572 張門診處方，建立並比較三種機器學習模型。
L 模型（Local Model）：從 667,572 張處方中隨機抽取 60,000 張作為驗證集，占全部資料的 8.98%；其餘 607,572 張處方則作為訓練資料
O 模型：使用 TLD 中 13.4 億張門診處方資料進行訓練
H 模型：採用聯邦學習方法，結合 L 模型與 O 模型中具有較高共現頻率（Frequency of Co-Occurrence）的關聯值進行訓練
另外，由兩位獨立醫師審查一組包含 600 張處方的測試集，逐一將處方分類為明確與不明確，以評估各模型的效能。
結果
三種模型皆展現良好表現，警示準確率介於 75% 至 85% 之間。其中，採用聯邦學習方法的 H 模型表現最佳，準確率達 79% 至 85%。
結論
研究結果顯示，該機器學習模型具有良好的國際可移轉性。此外，透過聯邦學習整合本地醫院資料後，可進一步提升模型辨識潛在不合理處方的準確性，顯示此方法具備跨醫療機構與跨地區應用的潛力。
Chin YPH, Song W, Lien CE, Yoon CH, Wang W, Liu J, Nguyen PA, Feng YT, Zhou L, Li YCJ, Bates DW, Assessing the International Transferability of a Machine Learning Model for Detecting Medication Error in the General Internal Medicine Clinic: Multicenter Preliminary Validation Study. JMIR Med Inform 2021;9(1):e23454