蒋介石与陈立夫回到黄埔后，即由陈立夫出面通知王伯龄、陈肇英、欧阳格、吴铁城等人来黄埔开会，进行秘密策划。这一期间，蒋介石多次召开秘密会议，陈立夫作为机要秘书是每会必与。通过反复密商后，他们一致决定采取反共的行动，并估计了驻广东的国民革命军第三、四、五军部分官兵对事变可能采取的态度。3月17日，陈立夫又随蒋介石由黄埔乘汽艇到广州市东堤八旗会馆——广州卫戍司令部，放出共产党有阴谋的空气，并将其在广州东山的寓所迁到有坚固工事的广州造币厂。 3月18日，欧阳格以黄埔军校驻省办事处的名义，传达一道命令给海军局代理局长李之龙(当时为共产党员)，称：“转奉校长命令，着即通知海军局迅速派得力舰二艘，开赴黄埔，听候差遣。”李之龙即派中山、宝璧二舰前往。19日到达黄埔后，蒋介石声称无此命令，陈立夫、陈肇英等人即大造谣言，说李之龙“事前并备就蒋校长和陈立夫同志的出国赴俄护照。是日下午，该舰又开赴省城，并即升火，拟于翌晨强迫蒋、陈两同志上舰出海。”并倒打一耙，说中山舰“无故移动”，是“不法行动”，“显系共产党阴谋暴动”。

还在3月19日上午，蒋介石拜访汪精卫，摸清了汪的政治态度，回来后即召开紧急会议，“夕与干部密议至4时”，陈立夫参加了这个秘密会议，并在会上鼓动蒋介石采取行动，对共产党进行突然袭击，这就使蒋介石下定了反共决心。蒋认为“……今日若无决心，岂能挽救本党……”，有人提出怕舆论谴责，陈立夫当即驳斥，认为不必顾忌，蒋便说：“政治生活，全系权谋，至于道义，则不可复问矣。”于是，蒋介石便诬指“共产党阴谋暴动，要推翻政府”，并以此为借口，宣布戒严。 3月20日凌晨，李之龙在广州文德楼家中被绑架，第一军中的共产党员被扣留，蒋介石还派兵包围了苏联顾问团和省港罢工委员会，收缴了两处卫队的枪械。霎时间，广州城里，一片恐怖气氛，这就是蒋介石一手制造的中山舰事件。蒋介石通过这一事件，左右开弓，一石两鸟，一方面打击了中国共产党，另一方面也降低了他的政敌汪精卫的威信。陈立夫在这一事件的整个阴谋中，一直参与其事，充当了极不光彩的角色，正如周恩来所说：“张静江、陈立夫都于1926年一二月回到广州，同蒋介石进行勾结，挑拨国共关系。这就是3月20日中山舰事变的远因，也是 3月20日事变以前的政治形势。”

陈立夫在中山舰事件中所表现出来的对蒋介石的忠心，顽固的反共态度，极端仇视共产党的心理及在复杂事变中的诡计多端，都深深获得了蒋介石的赞赏，蒋介石事后在日记中写道：“今日方知孤臣孽子操心之危，处境之苦，若非亲历其境者决非想象所能及其万一也。”可见，蒋介石是以孤臣孽子来称许陈立夫的。 北伐开始后，陈立夫被提拔为国民革命军总司令部秘书处秘书兼机要科长，当时秘书长为邵力子，处长为马文车。陈立夫对工作十分认真，凡是蒋介石签发的文件如布告、委任状、训令、指令、代电等，他总是逐字逐句地从头到尾阅读一遍，然后交监印员盖上大印。他对下属科员要求严格，管束严厉，监印员姜辅成因受不了军事约束，便以女儿要出嫁为由，向陈立夫提出辞职，陈立夫不予同意，并慷慨陈词，要姜辅成献身革命大事，舍其家庭小事，还许愿说：“我们不久就可以打下南京，到时你请假回去，不耽误你女儿的喜期。”以后，姜辅成再也不敢提辞职的事了。每到一地，陈立夫总要召集部下训话，要求机要科人员要精心保管好印章、文件等物品，以免战乱中受到损失。 陈立夫的工作态度和作风，令蒋介石刮目相看。

不久，蒋介石让他主管整个秘书处的工作，这样一来，陈立夫便成为蒋介石高度信任的心腹而不离其左右了。这也为他今后的飞黄腾达铺平了道路。 陈立夫从实业救国、技术救国的迷梦中醒来，却又开始了另一场违背道德与良心的政治梦，他原来立下的做一个正直的知识分子的理想已发生异化，从此，他便长期跟随蒋介石，参与重大事情的策划谋略，成为国民党新右派的主要干将。后来，陈立夫写了《一个学非所用的采矿工程师之自述》的文章，文中，他对自己放弃工程技术而从事政治有所遗憾，但更多的却是溢于字里行间的得意之情。 1926年5月初，陈果夫因上海事务已告一段落，与三叔陈其采及曾养甫3人一行奉蒋介石之命到达广州，陈立夫与哥哥见面了。这次见面有十分特别的意义。兄弟俩多年来为自己的事业各奔东西，一个远走海外求学，一个从事职业政治，可谓兄弟殊途。现在陈立夫绕了一圈后，依旧与其兄走到了一起，同在一个地方，同在一个国民党内，同时都从事政治，可谓是异路同归。从此，兄弟俩携手从政，一起办党，成为国民党内红得发紫的人物。于是，国民党便从蒋家天下丁家党的年代跨入蒋家天下陈家党的时期。