五千年(敝帚自珍)

主题:【原创】关于RCT与RWS -- 懒厨

共:💬132 🌺434 🌵16
全看树展主题 · 分页首页 上页
/ 9
下页 末页
家园 【原创】关于RCT与RWS -- 有补充

我已经很久没有正经写点东西了,国庆几天吃吃喝喝,现在终于有点闲暇,静下心来,网上看了一些资料,是之前最近我和中医粉争论的一个验药的方法问题。

先把关键词解释一下:

RCT (Randomised Controlled Trial)- 随机对照试验。

RWS/RWD/RWE/RWR (Real World Study/Data/Evidence/Research)真实世界研究(数据/证据),四个简写说的是同一回事,以下使用RWS这个缩写。

这两种都是方法而已,除了验药,我还见过社会问题的研究,也可以用这两种方法进行研究。而这里说的,涉及中西医之争,讨论限于验药的方法。通过一个例子来解释,应该是最容易理解的了,解释有误之处,恳请行家指点。

假如有一个新药上市,声称可以治某个病,我们要如何检验这个药效呢?

传统的做法,是使用RCT来验药,简单来说,做法如下:

1. 招募病人,有鉴定过程,需要保证两组病人的患者特征基本一致;

2. 将病人随机分成两组;

3. 一组吃安慰剂,另一组吃新药;

4. 负责的医生不知道某个病人吃的到底是安慰剂还是新药;

5. 负责发药的人,也不知道新药和安慰剂分别发给了什么人;

6. 疗程结束后,公布哪些病人吃了安慰剂,哪些病人吃了新药,然后对结果进行统计

7. 最后,再根据统计结果,如果比安慰剂的一组高很多,即可视为有效。

需要强调两点:

1. 这个方法的模式基本是固定的,无论什么药,只要遵循这个模式,满足该模式下的各个具体要求,就能获得一个可靠的结果。

2. 这个模式操作起来确实麻烦,之所以这么麻烦也要这么操作,是因为有两个因素必须排除,其一是人体有一定的自愈能力,其二是人体有一个安慰剂效应,假如一个人吃了药好了,其中的因果关系,要如何确认呢?到底是自愈,还是真的有效? RCT的方法,正是一个有效排除干扰因素的利器。

这些年开始提出RWS的验药方法,主要的区别在于C字,Controlled, 这种验药的方法,就直接用药,也有对照组,以争议起点的清肺排毒汤为例,他们实际上就是安排了一些病人喝这个中药,另一些病人没有喝药,然后对上万个病历进行分析统计,虽然没有严格控制的对照组病人,他们从病历数据下手,尽力排除干扰数据,从而推出相应的结论。

两种方法对比,很明显,无论数据如何挖掘,RWS方法里面,安慰剂效应是无法排除的,毕竟吃了药,听说这药有用,多少会影响病人的心理。这个不是我说的,是中医药抗疫的领军人士张伯礼说的,有截屏为证:

点看全图

于是,我接着上网调查,发现了这里有篇不错的文章, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6097073/

想省时间的话,可以看两个表,第一个是两种方法的对比,

点看全图

我尝试翻译一下:

对比项 RCT RWE
目的 Efficacy 验证有效性 Effectiveness 验证效果
设置 按实验设置 按真实世界情形来设置
跟进 按设计进行 按实际情况进行
治疗 固定模式 可变模式
研究对象组别 同质 非同质
参与医生 仅限调查者 多个行医者
对照项 安慰剂或挑选过的其他干预方式 多种干预方式
病人监控 持续,按研究方法进行 可变

这个表里面,最重要的是第一条,两者的目的是不一样的,RCT是用来验证药的有效性(Efficacy),RWS用来验证药的效果(Effectiveness)(注意:英文里面Efficacy与Effectiveness是有微妙的区别的,按照我的理解,Efficacy存在因果关系,Effectiveness仅是用来说明效果,其效果不一定存在因果关系)

关于Efficacy以及Effectiveness的区别,还是以上述的例子,RCT可以用来证明,排除了人体自愈以及安慰剂效应等各种干扰因素,某种药物的有效性,而RWS则不然,这个方法只会告诉大家,吃了这个药,通过一些数据的处理,可以确认有效率达到某个百分比,至于这个是否由安慰剂效应导致的,我们无法排除。

然后我们可以看一下第二个表,这个是对比这两种方法的优劣:

Advantages

Less time and cost consumption compared with RCT

- Possible to shorten the duration of clinical research

- No period needed for patient recruitment/enrollment

Presentation of the directionality for RCT

Research that cannot be done with RCT is possible

- Safe research on high-risk groups

Detection of less frequent side effects

Rapid access/easier information and data retrieval

Prediction model or high-risk group selection

Set a foundation on AI

Limitation

For correct analysis, a massive amount of data should be collected.

Much time needed for DQM

Experienced experts needed for the analysis of the massive amount of data

Lack of privacy/confidentiality/lost data

Standardized research protocol needs to be established before research

- High possibility of bias

- Possible to interpret with bias or incorrectly based on research results

简单翻译如下:

优点:

- 时间与成本较低

----有可能缩短临床研究的时间

----无需耗时招募病人

- 为RCT展示了方向

- 可在RCT不适用的情况下进行研究

----在高风险组别的研究较为安全

- 可检查出较少发生的副作用

- 迅速获取信息与数据

- 可以用于预测模型或者高风险组别的选择

- 为人工智能奠定基础

缺点:

- 如要正确的分析,需要收集数量庞大的数据

- 需要很多时间进行数据质量管理

- 需要有经验的专家对数量庞大的数据进行分析

- 存在缺少隐私,保密,数据丢失的问题

- 在开始研究之前,需要对研究方法(protocol)进行标准化处理

---- 很高的可能性出现偏差

---- 对研究结果可能存在有偏差或者不正确的解读

总结一下:

对比完两者的目的和优劣,结论显而易见,这两个方法是互补的,换言之,在RCT不适用的情况下,可以用RWS顶上,但由于没有一个固定模式,其效果取决于研究者的本领。总而言之,根本就不存在用RWS代替RCT的问题。

当然,我的话中医粉可以不信,但进行清肺排毒汤RWS研究的人的话不能不信吧?请看这里:

qq97:补充,一篇与该论文相关的报道(节选)

“若能针对清肺排毒汤开展随机对照试验,将有望进一步确证其临床疗效,并推动其广泛应用,挽救全球数以万计的新冠肺炎患者的生命。”李静补充道。

如果RWS足够完美,李静不会这么说吧?这不就默认了RWS就是不如RCT那么可靠吗?

中医想翻身,RCT这个坎是一定要过的,不要想着走捷径,用RWS就可以万事大吉了。

通宝推:从来,菜根谭,
作者 对本帖的 补充(1)
家园 【原创】一个RCT实操例子 -- 补充帖

最近在看一本关于数学在生活中的应用的书,碰巧看到一个例子,关于RCT的,虽然不是真实案例,但很有意思,值得说一下:

有一个治疗高血压芬塔可的新药上市,招了2000人做试验,男女数目一样,分成两组,每组1000人,做RCT的总结如下:

治疗效果 A组: 芬塔可 B组: 安慰剂
有改善 560 350
无改善 440 650
改善率 56% 35%

从结果看,似乎这药还行,但是,由于性别这个因素很重要,我们又对性别做了一下细分,结果发现是这样的:

男性:

治疗效果 A组: 芬塔可 B组: 安慰剂
有改善 40 200
无改善 160 600
总数 200 800
改善率 20% 25%

而女性:

治疗效果 A组: 芬塔可 B组: 安慰剂
有改善 520 150
无改善 280 50
总数 800 200
改善率 65% 75%

太震惊了,只不过细分了一下而已,结论居然相反!一个优于安慰剂,另一个差过安慰剂!

为啥会有这种不同呢?其实就是由于性别这个因素非常重要,而这男女在这两组之中的占比并不一样,导致合并之后得不到一致的统计结果。

既然知道了性别是很重要的因素,我们可以尝试一下同样占比的试验数据:

男性:

治疗效果 A组: 芬塔可 B组: 安慰剂
有改善 100 125
无改善 400 375
总数 500 500
改善率 20% 25%

女性:

治疗效果 A组: 芬塔可 B组: 安慰剂
有改善 325 375
无改善 175 125
总数 500 500
改善率 65% 75%

然后再看看合并的统计数据:

治疗效果 A组: 芬塔可 B组: 安慰剂
有改善 425 500
无改善 575 500
改善率 42.5% 50%

现在看,用于控制了性别这个关键变量,无论是性别分组,还是汇总,我们都能得到一致的结论,这个新药确实不如安慰剂。

这个例子简单吧,只要初中水平的数学能力,应该都能理解吧?RCT的原理就是这么简单,模式固定,自己去找变量,有对照组就是方便。

好了,轮到我来向RWS的粉丝提问了,这个药在没有安慰剂对照组的情况下,要如何操作?

先说说我的理解,RWS是直接上药,进行统计,肯定能够发现男性有20%的改善率,女性有65%的改善率,然后呢?

通宝推:光头佬,从来,
家园 吐槽兼回两个帖子

国庆前其实有几个帖子想回一下的,没想到看到这个:

点看全图

我的观察是,在阴霾老兄那个楼里,只要我回了一两个帖子,就再也回不了任何帖子了,要等够时间才行,我猜 @铁手 的初衷是让辩论的双方冷静一段时间,虽然我一向冷静,无需更加冷静,但我也同意铁手的做法。

另一个猜测是铁手的算法,阴霾老兄作为楼主,他把我拉黑了,于是只要我在他的楼里回帖,哪怕不是回他的帖子,都会触发了程序的冷静功能,@铁手 不知道我有没有猜错?

于是我有两点建议:

1. 冷静功能应该仅限于那栋楼,不应祸及全部。

2. 触发冷静功能之前,应该给用户一个站内短信通知,告诉用户即将触发,小心为上。

吐槽完毕,为了不触发冷静功能,还是在这里正经回两个帖子吧

先回一下 @qq97 qq97:这就耍赖不回答了?刚好在河里看到一段话,挺应景的

我来来去去讲的都是验药方法问题,福奇是否遵循这个方法,严格执行,关你我啥事?你要跑题,自己去跑就是了,题目我都帮你想清楚了:”驰名双标的福奇“,”丧失职业道德的福奇“,你随便去攻击他就是。如果你对RCT这个方法有意见,欢迎在本楼继续发言,我保证不会拉黑你。

接着回 @罗化生 罗化生:前面的回复你看不懂? 样本小的化,RWS同样不行。

家园 我的看法很简单

这里脱离具体情境了,我们上面的回复都特别强调,RCT和RWS的关键在于有各自的适用情境,没办法直接比较。尤其是在说某个药物、某种突发情况的时候,更没办法得出什么结论,除非两边都有数据。

所以,前面我回复的是

现有数据来源背后的情况,也不支持这种实验设计。这是强人所难。

当然,现在已经有了这种数据,已经可以进行下一步的对照试验了,所以最后说的是“Further validation with randomized controlled trials is needed to support the use of QPT worldwide for COVID-19.”

认为补充是传统观点,大家也没有否认,比如罗兄就说过是次级证据。但前面大家已经回复了,尤其是qq兄的回复。说明情况,认为有相同的证据级别。

所以,懒兄的两个说法:

“如果 RWS 足够完美,李静不会这么说吧?这不就默认了 RWS 就是不如 RCT 那么可靠吗?”

“不要想着走捷径,用 RWS 就可以万事大吉了。”

其实从一开始就不成立的。这些都是用侧面证据说明,而忽略了对应的具体情境。包括大家所说的RCT的设计问题。甚至后面一句,就没人持有这个观点。

补充

方法证明的不是药物的有效无效,而是方法的定义(有效无效)。如果以为它们说的是一回事,就会导致这种理解。这不是说无法证明效果,而是说,所有结果都有适用范围,得出来的结果必须要考虑这一点。

就像大家讨论瑞德西韦算不算有效,直接针对试验设计,考虑它的定义是否值得我们认可。所有的RCT都有这个问题。单纯从方法论比较,实际上是没什么意义的。

其他

建议看看《真实世界证据支持药物研发的基本考虑(征求意见稿)》和《真实世界证据支持药物研发与审评的指导原则(试行)

粗略地说,RWD进行RWR得出RWE,这个过程叫RES。结果可以叫RWR或者RWE,取决于指向(语境)。

家园 问题确实简单

一句话就说完了:应用范围不同,是互补关系,而不是取代关系。

家园 互补说的是所有研究,取代说的是具体范围。两回事。

有些情况不适合RCT,只能用RWS,算不算取代?反之亦然。

何况没人说取代。只是说有相同的证据级别,单纯说有效是没问题的。

家园 垃圾,我不是针对楼主,而是RCT

用RCT方法来做实验,给100头猪喂含有10ppm砒霜的饲料90天,同时给100头猪喂正常饲料,结果发现两批猪都毛光铮亮,身体康健,甚至含有砒霜的口感甚佳。

能因此说砒霜无毒有益?不能。顺便说一下,他们测试转基因粮食的安全,就是如此喂猪,然后说绝对安全,您信不信?

好,我们提高饲料中砒霜的含量,直到LD10, LD50,LD100,我们终于知道砒霜有毒了。可见研究的关键不是RCT,而是方案的设计,能不能让差异凸显,如果找不到这个方法,RCT就一点用都没有。找到了这个方法,没有RCT,RWS就足够了,因为总有猪没有吃含砒霜的饲料。

有的时候事情很复杂,等于由多个变量影响最终结果,做单一变量的RCT结果没有任何意义。就好像说每天出门捡10块钱,地球人都知道这是好事,可是如果去做RWS也好,设计一个什么RCT也好,都会发现,这10块钱根本不能改变一个人的生活,不能证明捡10块钱对人生有利,但是只要智力正常的人都知道,捡点钱是好事。

RCT这个玩意既不能证明有效,也不能证明有害,又不能设计违背伦理的事情来证明自己,因此只能把它当成人类面对复杂系统无法驾驭的时候,用的最低级的统计手段来寻找真理的启迪。这个最低级的统计手段有用就用,没有必要神话它, 它就是垃圾,有点用,因此我们利用一下。

RWS也一样,前一段时间,科学松鼠会的一个什么人,为了证明感冒不是着凉,找来一群人做淋水实验,最后统计,没有人感冒,因此他们证明了感冒和着凉没有关系,我把牙都笑掉了。这群人魔怔到为了反老祖宗的东西,真是绞尽脑汁,费尽心机。没有过多久,MIT就发表了论文,证明温度降低后病毒复制增强,人体免疫系统活力下降,这就是感冒的秘密,换句话说,就是着凉。

真正的科研,是寻找事物之间的逻辑关系并多角度观察、证明它或者否决它,只要能够确定这个逻辑关系,哪怕RCT显示没有差别,我也要遵守,就好像天凉要添衣服这种事情,实在找不到的时候,RCT也好,RWS也好,先凑凑数,用着吧。

中医是人类面对人体这个黑盒子的时候开发出的思维方法和治疗体系,在黑盒子不断被揭开的时候,应该抛弃部分内容,继续去研究新的未知部分。对待人体,起码在可见的将来,未知的部分都远远大于移植,中医的思维逻辑和治疗手法都有生存空间。面对现代医疗治疗不了的病,信中医者生,不信者死,哪怕生存的概率高1%,也是高。

佛说,救一个人就是救全世界。台湾、香港、美国的新冠死亡率都远高于中国,这几年中医救了无数个世界。信者多了生的希望,不信者很多已经无法再相信了,因为他们死了。

爱信不信。

通宝推:kekepei,collaps,empire2007,看看,hwd99,柴门夜归,
家园 RCT就是一种工具而已

是否垃圾,价值观的判断罢了。

可见研究的关键不是RCT,而是方案的设计,

但不同方法,方案的难易有别,RCT只要找到控制变量即可。而要轻松的找到控制变量,非得理解其原理不可,而不是通过黑盒试错。

以你说的转基因试验为例,只要你知道转基因食物有害的原理,你完全可以根据这个原理,设计一个方案出来,用RCT进行检验,证明你的理论。

RCT不仅可以用来证明药效,也可以在这里用来证明其害处,反正用猪来做试验,也没有什么伦理障碍。

面对现代医疗治疗不了的病,信中医者生,不信者死,哪怕生存的概率高1%,也是高。

你这里说的信字,正正就是我说的安慰剂效应,不用RCT,你要如何排除呢?

家园 这个是个定义问题了

些情况不适合RCT,只能用RWS,算不算取代?

这个是互补,而不是取代。

我对取代的定义是,能用RCT的时候不用,反而用RWS,这个才是取代

家园 硬凑一下

没有MIT的时候,大家就在说低温导致免疫力下降,毕竟是常识。但直到MIT才有人信,简直……这完全是崇拜权威,而不是崇拜科学。

最近一次是四五年前知乎某国外答主说着凉不科学的时候。他自己举证了一些语言,比如英语也是COLD,来说明这不过是自然主义,不科学。

可是自然主义就不科学吗……何况是成体系的论述。

家园 这句话反过来也是一样

能用RWS的时候,反而用RCT。

决定这种情况的还是其他前提,哪个更好?哪个更适合?就本题而言,已经说过无数次RCT没有条件了。反而是RWS之后,才能支持更进一步的RCT。

就先后讲当然是互补,但证明的已经不是有效与否,而是有效性的具体情况了。所以就有效与否来说,依然不是互补关系。定义已经改变。除非还要费尽心思去做一个没有RWS时候才会有的实验设计。

但那就是靠运气吃饭了。因为即便是有充分资源支持,为了可行,还是要删减变量、调整模型。和RWS所证明的,和有RWS的RCT所证明的,完全不是一回事了。

简单说,只有都做过才知道是否适合。但没做的时候,条件也会告诉我们哪个更适合。因此不存在“能用RCT的时候不用,反而用 RWS”。瑞德西韦反而论证了“能用RWS的时候,反而用RCT。”

家园 有原理啊

原理上至少RCT能用来排除自愈与安慰剂效应这两个干扰因素,RWS则没办法啊

研究者如果不想排除,当然就无所谓了。

家园 这年头,扯上中医正方反方都跟打了鸡血似的

你老兄垒了那么多字,怎么就说明RCT是垃圾了?1+1=2老简单的算数,总不能有人说1只鸡+1只鸭=两只猴子,就说1+1=2是垃圾吧。RCT的关键在于C,排除了不可控的因素,包括未知的不可控。

俗话说,离开了剂量谈毒性就是耍流氓,这个流氓可不是RCT耍的。把RCT分类垃圾,整出喂猪吃药,但忘了喂猪食把猪全饿死的实验,再正常不过。我对包括广大理工科生在内的知识分子的专业素养还是有基本的信任的。

英语里也有catch cold的说法,但我的医生也坚决不认可我感冒是因为我前两天着凉了。我不能在他给我看病的时候和他打起来,只好理解没有病原体不会致病。我觉得这就是个表达的问题,不是啥原则性问题。陈王好像是做电路的,如果做高温试验的时候芯片挂了,是去看电路呢,还是怪炉子?

通宝推:潜望镜,菜根谭,
家园 懒厨兄觉得不行就不行吧。

无法排除影响是数据必然包含,而不是无法论证因果关系。这是两件事情,又不是没有对照和统计修正。

实际上这是最基本的逻辑问题,是把大家都当做傻瓜。

通宝推:审度,
家园 说说安慰剂

下面的可以认为是抬杠,可以认为是认真的:

中医总体上来说,可以简单认为扶助和调动人体自身的机能,去维持人身的健康。如果中医治疗,没有任何物化生的效果,单纯能够令到病人有信心,是不是同样的能调动人身自身的机能?西医可是说愉快乐观有利于对抗疾病。从这个角度来看,安慰剂如果真能安慰到想要效果,他也是医药对症。对不对?

中医药不排他不画地为牢。懒厨兄这个安慰剂问题,让我想到一个民间故事:扫叶庄和踏雪斋之争当中的一个例,忘了是叶天士还是薛雪是主角:有一妇人,由于受惊吓,右手不能动,多方延医无果,找到薛雪(姑且放他名下吧)。薛雪问清前因后果后,于街口人多处放一高桌,今妇人站上去,用绳子将其左手吊高,然并声吆喝,让人来围观。观者渐众之后,薛对妇人说,我要脱你裤子检查,言毕马上伸手地解妇人腰带,妇人大急,连忙伸手抗拒………这个是中医不?这个是安慰剂效应不?有人认为薛上神棍不?

懒厨兄,自愈和安慰剂效果,无法解释中医药有其理论,并且依据理论对不同的症状作出不同的调节,并能取得预期的效果。

什么什么方法,它只是一个人为主观选择的手段,并不是恒古长存的真理。其个方法,能解决一些问题,但不是说它能解决所有问题。或者说,目前没有什么科学理论和方法,能解决所有问题。

华山现在都不止一条途径了呀。

家园 西方有靠祈祷治病的传统

所以那么相信心理作用,中国人何苦去凑这个热闹?我看还是由月之回忆来对付他比较合适。

全看树展主题 · 分页首页 上页
/ 9
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河