陈立夫在美国留学期间，留在上海的陈果夫在失意与挫折中迎来了新的一年。 1924年1月20日，中国国民党在广州召开第一次全国代表大会，并决定改组国民党，大会通过了新党纲、新党章及改组国民党的具体办法。在大会发表的宣言中，用革命的精神重新解释三民主义，提出了“联俄、联共、扶助农工”的三大政策，这就使国民党获得了新生。在中国共产党的帮助下，孙中山决定创办黄埔军官学校，发展革命的武装力量，并任命蒋介石为黄埔军官学校校长。 在黄埔军校筹备期间，蒋介石为发展个人势力，曾电邀陈果夫到广州协助工作，但此时陈果夫因病没愈，想到广州医疗条件不如上海，便没有应召前往。后来蒋介石又亲自写来一信，要陈果夫在上海代为办理军校学生的制服及一切军用品和印刷品、机器等，因为当时广州的风气不好，价格又昂贵，所以要到上海制办。 这样，陈果夫便在上海为筹备各种物资开始了紧张的工作。 在上海采办物资虽然较广州为便宜，但要将这些物资运送出去，却又是极其困难的。据陈果夫回忆：第一批东西，系五百套呢制服、呢大衣、皮鞋、帽子、皮件、衬衣等等，正式报关由运输公司起运。

哪知服装店经理巴结生意，在每件制服里面，钉上一块白布，海关上一检验，觉得特别触目，认定是军装，就全部扣留，我得了这信息，焦急万分，一面打电报报告校长，一面托人各处想办法，向海关许监督交涉，又转托叶琢堂、王一亭、沈田莘、虞洽卿等从中帮助，经十余天之努力，终算将被扣留的军服等收回。不过其中有束腰皮带枪带和刀鞘三样东西，海关方面认为军用品必须充公。许监督对我说：“这一点东西，不过是作为酬谢关员的意思，你也不必再追究了。”所以这件事，只好承认晦气，损失数百元。可是军服等虽已收了回来，仍然不准出口，这又使我感觉困难，几次同海关监督公署商量，没有办法。据该署中人说：有一路可通，不过要你们自己去想办法，官家是绝对不能通融的。于是托人打听，探得上海有一家公司，专门偷税，包运货物，并且运费较正式报关起运为便宜。我找到之后，深恐靠不住，先派人用少数东西，试了一试，过几天广州来电，居然如期到达，并没有出什么岔子，这才放心，将这一批服装等等，完全交由该公司代运，不久全部到达广州，送到指定地点，而且计算起来，比正式办法便宜数百元。

后来黄埔军校所用的军装皮件，以及教导团第一、二团全部的棉衣军毯等等，均在上海制办，都是交付那个公司负责装运，几件大衣或几套棉衣，包成一包，每包至少比正式报关起运要便宜一元几角，而且稳妥简捷。 陈果夫通过这次经验之后，再给广州方面采办物资就方便、简单多了。当然，在采办过程中，由于上海各种势力错综复杂，再加物资种类多，而且数量、价格都不等，所以仍须付出极大的努力，冒极大的风险。这段时期，陈果夫几乎将整个心力都投入到采办物资中去，想尽各种办法，才很好地完成了一次又一次的采办任务。 到了年底，孙中山任命陈果夫为招兵委员，同时被任命为招兵委员的还有赵澄志、刘祖汉二人，并且指定由陈果夫负责主持其事。他们的任务主要是为黄埔军校一、二两个教导团招募士兵，而且要求他们一般只在江苏、浙江、安徽三个省进行。此后，蒋介石恐他们力量薄弱、人手不够，又陆续从广州派来陆福廷、戴任、王震南、王伯群、胡公冕，陈乐亭、周少游等人来上海帮助陈果夫进行工作。 采办物资是困难重重，而招募士兵则困难更大。

第一，当时正值江浙战争爆发，军阀齐燮元、卢永祥为了打仗，拼命补充兵源，正在江苏、浙江、安徽等地招募新兵，这就使陈果夫的招兵工作遇到了竞争对象，而齐、卢军阀有钱、有粮、有势，陈果夫根本竞争不过。有时，通过各种办法，辛辛苦苦招来的新兵，还不及到达上海，就在半路被齐、卢军阀或者扣留，或者高价收买，或者诱骗过去。第二，各地方军阀为扩大势力，也在广招兵源，当陈果夫招来的新兵从上海到广州时，多在中途被他们截留，如地方军阀张毅、张贞、洪兆麟、范石生等，都曾在厦门、汕头、香港等处诱骗，截留过新兵。第三，上海各种反动势力对招兵工作多方破坏，如当时上海码头上的一帮流氓，对招来的新兵乘机敲诈，规定每名新兵上船，须缴款一角至三角。再如，张宗昌的宪兵随意到招兵机关捕人，开始，陈果夫在中国地界小东门租了一处房子，挂了一张揭普道路募工驻沪办事处的招牌，对外称招募工人，同时还常常到法院与县公署各方面去接洽，所以工作还进行得比较顺利，后来张宗昌的宪兵队打听到是招兵机关，于是派了大批宪兵来捕人，陈果夫急忙躲避，结果，招兵机关被捣毁，一切东西抢个精光。

在这种情况下，陈果夫只好将招兵机关转移到上海证券物品交易所内，表面做生意，暗中进行招兵事宜，但还是有各种不明身份的人来此捣乱。没办法，陈果夫将招兵机关搬到了季陶办事处，当时，戴季陶正在此埋头撰写《三民主义的哲学基础》等书，他十分欢迎这位交易所时期的把兄弟来此居住和工作，但陈果夫的招兵机关并不能避免无端的滋扰，为了招兵工作的正常进行，也为了不影响戴季陶的正常写作，陈果夫只好将招兵机关搬到杭州，这里远离上海的尘嚣，反动势力也较上海薄弱，招兵工作才能比较顺利地进行。