但陈立夫手下的人却不懂其中的玄机，企图给蒋以压力，阻止改造党。在一次中央委员谈话会议中，李宗黄等表示：“我们的意思是认为本党之改造，至为必须的，最好是由干部作建议，请总裁决定执行，免得总裁为难，而且亦合乎民主。 ”蒋介石一听勃然大怒，深恐改造大事一经讨论便节外生枝，愤然斥责道：“你们如果不要我来改造党，你们跟陈立夫去好了。”蒋认为陈立夫嘴上说得好听，暗地指使人反对他改造党。对此，蒋介石也不得不作认真考虑，他与二陈的关系虽然渊源深远，但在目前情况，他深知，要渡过难关，必须倚恃忠心的军队和美国的援助，他不能得罪军方实力派陈诚，也不能为了二陈而失却美国的援助，因为美国人对二陈，特别是对陈立夫十分反感。同时，他要将大权传给儿子蒋经国，而不赶走CC派势力，就不能铲除蒋经国当权的阻力，经过深思熟虑和反复权衡，蒋介石决定抛弃二陈。 7月22日，蒋介石在台北主持国民党中常会临时会议，通过《本党改造之措施及其程序》，会议决定授权蒋介石遴选15～20人组成中央改造委员会，原国民党中央执行委员会和中央监察委员会均停止行使职权。
7月26日，蒋介石发表演说，声称国民党在大陆造成失败，必须自我检讨，说如不彻底改造，将有亡党危机。他提出成立中央改造委员会，负责重组国民党，过去庞大的组织由大改小，撤销国民党中央执行委员会和监察委员会，改以中央评议会代替。他宣布了酝酿已久的国民党改造方案和新的中央改造委员会，中央评议会委员名单。 新成立的中央改造委员会由陈诚、蒋经国、谷正纲、张其昀、张道藩、胡健中、陈雪屏等16人担任委员，中央评议会聘任吴敬恒、居正、于右任等25人为委员。 在16人的改造委员会中，二陈兄弟均未上榜，CC派中仅张道藩列名其中；25人的中央评议会委员中，也仅只病入膏肓的陈果夫一人列名其中，从以上安排中，已经可以闻到人事倾轧的浓浓的火药味了。 国民党这次改造的结果，首当其冲地解除了陈果夫与陈立夫为代表的CC系的“党治”大权。二陈执掌国民党党权长达20多年，权力膨胀造成了绝对的腐化，特别是抗战胜利后又主持国民党中央财委，担任农民银行董事长、中央合作金库董事长，大肆敛财，使国民党集贪污腐化于一身，就连与他们关系一直很好的陈布雷生前对他们也有意见，说：“我过去还相信陈氏兄弟在金钱上总比较清白，不会贪污。
今天一看，他们和孔、宋一样，在抢肉骨头。他们也接收，他们也争，他们也办起什么银行和经济事业来了。他们过去骂孔、宋，今天唯恐学不到孔宋。 ”陈布雷当然看不到，CC派的腐败实质上是国民党的腐败。现在，国民党在大陆失败了，CC派便成为被攻击的主要目标，代替整个国民党、代替蒋介石负起了大陆失败的整个责任，他们被排斥在权力之外。从此，二陈在国民党中的政治生命结束了，他们所领导的CC派开始成为一个历史上的名词。 陈果夫与陈立夫以反共开始，为巩固蒋介石在国民党中的地位立下了汗马功劳，没想到蒋介石为开脱自己，竟将在大陆失败的责任全推到他们身上，为了传位给儿子，又将他们一脚踢开，心中不免又气又恼，又怨又恨，但在当时的环境下又不好发泄，只得寻找机会，借题发挥。 病中的陈果夫受此打击，病情越益加重，遵医生嘱咐，不可说话，陈果夫痛苦难言，以此为题，作了一首哑巴歌，歌词曰：“哑巴哥，说不出话真痛苦，……听得人家说话，肚里更加不开心，若闻笑骂声，面孔胀得红又青，摩拳擦掌，胆小不敢争。有时候像煞吃过黄连嘴里苦，有时候像煞受了冤屈没处伸。哑巴哥，不能说话苦得很。”
这哪里是写自己的病情，分明是受了陈诚、蒋经国的攻击，得不到蒋介石信任时自己委屈、苦痛心情的一种曲折反映，也是对蒋介石的一种无力的抗争。 当然，陈果夫在表面上也装着若无其事的样子，他给自己写了一副对联：“合法、合情、合理，做成大事；轻权、轻利、轻名，修得长生”，以为警戒，似乎他把名利看的十分淡薄，但内心总是觉得不舒服，有时又不免大发牢骚。8月20日，张道藩来访，陈果夫见了老部下，顿觉十分亲切，张道藩虽然名列改造委员会委员，但CC派既然完蛋，他也只是一种摆设，大权实为陈诚、蒋经国在握，二人见面，都有一种惺惺惜惺惺之感。二人谈起台湾政局，又不免议论起陈诚与蒋经国来，陈果夫又是一阵冒火，张道藩即劝他此种情况下以不多说话为佳，陈果夫仍然不能平静下来，他说：“有关国家前途之事，此时不言，实在有点忍不住。”但不管陈果夫发牢骚也好，借机讽喻也好，他们政治上的黄金时代已一去不复返了。 陈立夫与陈果夫不同，他对蒋家政权，既有不满的言语，更有不满的行动。他还年轻，身体也还可以，他似乎要对自己过去的一切，不管是辉煌的也好、是肮脏的也好，进行冷静的思考和反省，他要躲到一个安静的地方去。
他也似乎看穿了自己曾经从事过的，现在又抛弃了自己的“政治”，他觉得台湾这小小的岛屿没有自己的立身之地，多有“郁郁苦不展，羽翮困低昂”之慨，他要离开台湾，离开“政治”，远走重洋。他向蒋介石表明了自己的打算，他诚恳而坚决地说：“我受总统熏陶25年，但我很惭愧，没什么表现，很感罪戾。我出国了，今后一切政治问题，请勿再找我，我一向对此不感兴趣，……”言语之间，一半是哀怨，一半是愤懑。