陈立夫到达广州的时候，正值国民党第二次全国代表大会召开，蒋介石以东征英雄的面目出现，当选为中央执行委员、常委，成为国民党的重要领袖人物，为各方所注目。但也就在蒋介石权力不断上升的时候，他开始日益处于各种矛盾的包围之中。首先，蒋介石压制工农运动，排斥共产党人，与共产党的矛盾日益尖锐；其次，蒋介石独断专行，与苏联顾问的矛盾也日益显露；另外，蒋介石争权夺利，与汪精卫的矛盾不断加深，与其他各军的矛盾也日益不可调合。这些，都使蒋介石感到进退维谷，惶惶不可终日，他处心积虑，寻找摆脱困境的办法。 对于蒋介石的焦急心情，陈立夫深深理解，作为机要秘书，他也在想办法，希望为他的主子分忧解难。但一时又拿不出好的主意，只能说些劝解的话，以宽慰蒋介石的心。 1926年初，在军费分配和出师北伐等重大问题上，蒋介石与苏联顾问季山嘉发生分歧，各不相让，而汪精卫则在旁幸灾乐祸，流露出明显偏袒季山嘉的倾向，使得蒋介石心中十分不高兴，暗恨汪精卫。 不久，汪精卫、季山嘉以主持第七军作为诱饵，拉拢蒋介石第一军中第二师师长王懋功，使蒋介石生疑。于是，蒋介石一纸命令，将王懋功职务解除，并限时要他离开广州。

汪精卫则针锋相对，以贩卖私盐的罪证，将蒋介石的把兄、虎门要塞司令陈肇英撤除职务。蒋汪一时剑拔弩张，双方之间气氛颇为紧张。 当时，广州地区也传出一些谣言，说中共已与季山嘉、汪精卫商量好，要从蒋介石第一军中撤出共产党员，另与汪精卫合组国共军队，以孤立蒋介石；还有说蒋介石要到苏联去休养等。那时，国民党内一般政治人物要下台，常以出国考察、休养的方式被放逐，多疑的蒋介石认为自己已经处于危险的境地，必须采取办法，脱离险境。 面对各种矛盾，蒋介石陷入无可奈何花落去的境地，但他又不愿就此甘休，他要战胜各种对手，以窃取国民革命的最高权力。经过一番考虑，蒋介石决定重施以前那种以退为进的伎俩，想以辞职、出国相威胁，来达到自己的目的。1926年2月1日，国民党军事委员会任命蒋介石为“国民革命军总监”，蒋则于8日表示不就职，9日，更呈请辞去“军事委员会委员”及“广州卫戍司令”两职，要求赴俄休养，企图以此要挟汪精卫，使汪不好下台。汪精卫十分清楚蒋介石的用心，对他的辞职，不予明确答复，只是例行公事式地劝他“不宜辞职”

，并不坚持挽留，这样一来，倒使蒋介石去之不可，留也无益，陷入十分尴尬的境地，回来后，蒋介石在日记里写道：“顷聆季新（指汪精卫）言，有讽余离粤语，其受谗已深，无法自解，可奈何！”至此，蒋介石确信，汪精卫在共产党和苏联顾问支持下，要除掉自己。经过再三考虑，他决定还是离开广州。 蒋介石即命陈立夫购买了日轮庐山丸的船票，并携带现款3万元，坐汽车到天字码头，准备乘船离开广州，先到香港，再由香港搭船去海参崴。 3月19日，蒋介石收拾行装，带着陈立夫，满心不快地乘车前往广州长堤码头。一路上，蒋介石沉闷着脸，默不作声，陈立夫也不好说什么，当时的心情，按陈立夫后来的回忆说，刚开始，他想到放弃工程师的职业，到广州帮蒋介石，实践总理计划，是间接达到自己的志愿，但几个月的政治实践，“使我大失所望，政治原来是这样污秽”，后来又想，既然搞了政治，再污秽也不能放弃，要坚持干。 因此，当车快要到码头时，陈立夫忍不住问蒋介石：“校长，为什么我们一定得走？军事权在校长掌握之中，为什么我们不干一下？”蒋介石听后，似有所悟，即命司机掉转车头，开回寓所。

但当车往回开了一会的时候，蒋介石又变了卦，吩咐司机再转头，重新开往码头。陈立夫没有蒋介石考虑的那么复杂，他只觉得干政治，就不能轻易放弃，于是又鼓足勇气，劝蒋介石道：“我们如果走了，总理所交给校长的任务将由谁来担负呢？”蒋介石听了沉吟不语，想了又想，最后下了决心，压低声音对司机说：“开回东山公馆。”对这件事，陈立夫本人后来在国民党上海市党部一次演说时也承认，当时，“在车上他劝蒋先生干，有兵为什么不干？汽车到了码头，蒋先生幡然下决心，重新回到家中发动三月二十日之变”。对于陈立夫这个说法，虽然蒋介石后来否认，说陈立夫是小孩子，不懂事，但这个事实是存在的。当时广州城内由国民党右派传出的一些谣言，也有所谓要将蒋介石和陈立夫劫往海参崴的内容，而且说已经为他们二人准备了前往苏联的护照，陈立夫早就将自己绑在了蒋介石的战车上，他开始仇视共产党，在这种心理的支配下，他的话便具有强烈的煽动性，因此，在蒋介石去留广州的关键时刻，陈立夫显然起了十分重要的作用。