初夏的广州，满城青翠，满城骄阳，革命的热潮也同季节一样，日益高涨，日趋火热。而以蒋介石为代表的国民党右派十分仇视革命力量，也在暗中加紧策划，随时准备反扑，国共两党的合作面临严峻的考验。 5月15日至22日，国民党二届二中全会在蒋介石的主持下召开，刚到广州的陈果夫也参加了会议。这次会议通过了由蒋介石提出的旨在限制、打击共产党的所谓“整理党务案”，文件无耻地宣称“吾人深信整理党务案必能得一切革命党员之承受”。根据此案，选举了蒋介石的盟兄张静江为中央常务委员会主席，蒋介石取代谭平山当上了中央组织部长并兼任新设的军人部长，邵元冲为青年部长，顾孟余取代毛泽东任宣传部长，甘乃光取代林伯渠任农民部长，叶楚伧取代刘伯垂任中央秘书处书记。这样，在国民党中央党部完全排挤了共产党人，蒋介石等新右派篡夺了国民党中央的重要领导权。 这时，国共两党之间的斗争十分激烈，为了应付复杂局面，蒋介石极需一个得力的反共人才，为此，谭延闿向蒋介石推荐了陈果夫。他说：“果夫有办法，”

这正说出了蒋介石的心里话，他对陈果夫是了解的，过去同在上海办交易所时升降沉浮的经历，创建黄埔军校时陈果夫在上海为其网罗人才的功劳，都使蒋介石不能忘记，他深深信任陈果夫，很快，便任命其为国民党中央组织部秘书，实际上将组织部全权交授与他，由其接收组织部，具体实施“整理党务案”。 对于蒋介石反共的“整理党务案”，中国共产党的主要领导人陈独秀却推行右倾的投降主义，采取妥协退让的政策，致使国民党右派分子纷纷进入国民党中央领导机关，陈果夫也十分顺利地接收了组织部。 陈果夫能够十分顺利地进入国民党中央组织部，还有一个重要的原因，就是他的伪装还没有撕破，右派面目还没有完全暴露，据陈果夫自己说：“我能顺利接收，要追溯到过去两年的情形。当十三年本党改组以后，已呈分裂现象，那时我对党务，未加闻问。后来奉蒋先生之命，在沪担任招募及黄埔后方勤务工作，因为职务需要与各方面接触，纯粹本党同志与跨党分子，双方均来问我对于党务的意见。我除了答复‘党内不能有党’的主张外，其他什么也没有表示。同时双方面都要我登记，我都没有参加，因此，对双方面均无恶感而能完成在上海的重要任务。

等到发表组织部秘书以后，多数共产党以为我没有直接办过党务，所以不甚注意。其知我者，也认为我没有参加过任何反共组织，是比较超然的人物。所以到中央党部接收组织部秘书职务，毫无阻碍。就是我以中央监察委员之资格任组织部重要职务，也无人批评。”国民党中央组织部从国共第一次合作以来，一直由共产党员谭平山担任部长，杨匏安担任秘书，在他们的辛勤工作下，国民党的组织建设充满一片生机，组织工作曾有过相当大的发展。陈果夫进入组织部后，秉承蒋介石的意旨，首要任务就是从组织部机关中把共产党人排挤出去。他对部机关的29人，从工作态度、思想作风、举止言谈等方面进行了缜密的观察调查，结果，认为只有3位是真正的国民党人，其他的都是共产党人或受共产党影响的左派分子。于是，陈果夫在国民党右派人物萧铮、郑异等人协助下，开始绞尽脑汁，想法将这些人清除掉，他主要采用了三种办法来达到自己的目的。 其一为强硬调出。这是陈果夫清除共产党的重要手段，他到组织部后不久，采取突然袭击的办法，不与任何人商议，在部机关会议上宣布，将共产党员杨某、骆某强行调出，且不由分辩，当即生效。

同时，将国民党员段锡朋、王乐平、曾养甫、赖琏等人拉入组织部，顶替杨某与骆某的工作。这一明目张胆的反共行为，当即遭到国民党左派人士何香凝的反对，何香凝直接找到陈果夫，严词质问，陈果夫无言以对，但他仍一意孤行，坚持其反共的做法。 其二是软拉硬挤。陈果夫对有些共产党员开始采取拉拢的办法，希望这些人放弃共产党的立场，跟着他走，但这一着并不奏效，共产党人光明磊落，决不愿跟着他干损害人民和革命的事。于是，陈果夫变换了另一手法，寻找各种借口对这些共产党人进行批评和惩罚，同时对一些毫无成绩的国民党员则无休止地进行表扬和奖励，企图以此形成强烈反差，挤走共产党人。陈果夫这种恶劣的行为，当即受到共产党人杨匏安的强烈反对，杨义正词严地质问陈果夫：“你怎么随便破坏部里制订的章则，罚功赏罪呢?”陈果夫拒不接受，依然如此，果然，在事务组工作的两名共产党员被气走。杨匏安采取措施进行反击，将陈果夫经常表扬的一位姓莫的国民党员调出组织部，一时双方斗争十分激烈。但陈果夫有蒋介石做他的后台，继续采取软拉硬挤的办法，将共产党人排挤出组织部。 其三是迫其辞职。

陈果夫对一些有能力又颇有影响的共产党员，采取了更毒辣的手段，就是不分配他们的工作，不让他们开会，使他们无所事事，最后自动辞职。如当时有位姓谭的共产党员，专司民众组织工作，他工作十分负责，成绩突出，在组织部内很有影响，陈果夫几次开会都不通知他，而将他的工作另外分配给别人，结果，这位共产党人只好辞职，陈果夫求之不得，马上安排其亲信曾养甫继任。