强化学习是否可以改善重症患者的预后

Otten M, Jagesar AR, Dam TA, et al. Does Reinforcement Learning Improve Outcomes for Critically Ill Patients? A Systematic Review and Level-of-Readiness Assessment. Crit Care Med. 2024 Feb 1;52(2):e79-e88. doi: 10.1097/CCM.0000000000006100. Epub 2023 Nov 8. PMID: 37938042.

1.背景

强化学习（Reinforcement learning，RL）是一种机器学习技术，可以有效地实施决策，因此潜在可用于ICU的治疗。RL是一种算法，通过与环境的交互的一种策略。这种策略决定在哪种状态（如患者的液体状态）进行哪种行为（升压药或补液）。这种策略通过资料不断地试验，根据奖励或惩罚（如死亡）进行反馈。这种技术打败了世界围棋冠军。ICU中的这类决策的例子包括呼吸机的设置，肾替代治疗的选择、时机和强度，以及药物如强心药、升压药、抗心律失常药物和抗菌药物的选择等。这类决策需要不断的修正，每小时甚至每分钟。因此RL在这方面可能优于传统的观察性研究或RCT。RCT是在群体方面观察一项干预措施的效果，可能不适用于重症。

电子病历系统的出现，以及可以自由获得的重症数据库如MIMIC等产生了大量的实时资料，可以用于强化学习研究。但是目前不清楚重症医学的RL是否可以使患者获益。为此进行本研究。

2.方法

检索了5个数据库（PubMed,Embase, Clarivate Analytics/Web of Science Core Collection, Elsevier/SCOPUS, and the Institute of Electrical and Electronics Engineers Xplore Digital Library），时间截止March 25, 2022。

检索词“reinforcement learning” and “intensive care.”

证据分级采用GRADE （Grading of Recommendations Assessment, Development and Evaluation），确认偏倚采用(PROBAST（Prediction model study

Risk Of Bias Assessment Tool）。

3.结果

筛查1033篇文章，最后入选18篇杂志文章和18篇会议文章（图1）。