陈立夫回来了，西装革履、气度不凡地出现在上海滩上，以致前来迎接他的哥哥陈果夫在其映衬下感到自己的土气与衰老。兄弟见面后，自然是少不了一番亲热。亲热过后，谈话的主题便涉及到归国后的工作问题，陈果夫希望弟弟参加国民革命，从事政治活动，但陈立夫却不屑一顾。他说他当年考上大学，后来出国，就已经走上了与哥哥不同的道路，即要以科学救国，以振兴实业救国，现在回来了，初衷仍然没有改变，他要做一名矿冶工程师，投身到振兴实业中去。当时，他已经接受了山东中兴煤矿公司钱新之先生之邀请，准备到那里担任工程师。 陈果夫见不能说服弟弟，便拿出蒋介石的两封电报，电报说希望陈立夫到广州去协助他工作。陈果夫又不失时机地劝说：“你去美国时，蒋先生也曾帮助过你一部分学费，而且他已来了两次电报，嘱你去帮忙。你如果一定要做工程师，可当面报告蒋先生，他曾经同意你学矿，或许会替你决定的。”一席话说得陈立夫犹豫了，他决定去广州面见蒋介石。 果然，陈立夫的到来，使蒋介石喜出望外，因为蒋介石正在日益加紧篡夺国民革命领导权的活动，他悉心培植自己的私人势力，把一切忠实于他的奴才走卒都网罗在周围，逐渐形成以他为中心的右派力量。

他见陈立夫依然如当年机灵敏捷，而且又添了一些稳重，更是喜爱。他问了一些海外留学的情况后，便直接了当地要陈立夫留在广州参加革命工作。陈立夫说自己还是想当采矿工程师，只见蒋介石摆了摆手，以不容置疑的口吻说：“现在是需要你革命的时候，还开什么矿，要开矿，可开采革命之矿。”根本不愿听陈立夫陈述采矿工作的兴趣和志愿。 蒋介石说得斩钉截铁，陈立夫知道争也无用。再加上他也深深知道，当时的中国，国家不统一，军阀不打倒，实业救国是不会有什么成效的，于是便答应了蒋介石。他说：“我没有学过军事，不能投身行伍，只想做点文职工作。”并提出了两个条件：“第一，如有机会，我仍希望回到我本行去工作；第二，我为你效力，一定竭尽智能，接受指导，同时也希望你尊重我的人格，不受怒骂。”蒋介石想了想，表示同意。后来的事实证明，第一件，蒋允诺了，但并没真心去做，陈立夫一直没有回到他的本行；第二件，蒋允诺，也基本上做到了，陈立夫追随蒋介石25年，一般来说，蒋没有对他发过脾气，甚至连大声喊的情况也很少发生，这一点，陈立夫说：“我是非常感激他的。”

蒋介石根据陈立夫的要求，当即安排他为黄埔军校校长办公室机要秘书，跟在他身边，参与机密事宜。陈立夫终于放弃了所学多年的矿冶工程技术，去从事另外一种对他来说还是完全陌生的工作——政治。中国工程技术界，少了一名优秀的青年工程师，而国民党的政治星空中，一颗新星在悄然升起。 陈立夫虽是黄埔军校的秘书，实际上是蒋介石的私人秘书，他住在广州东山区蒋介石的官邸，与蒋同用三餐，共同生活。当时机要秘书有两人，除陈立夫外，还有邵力子，主要帮蒋介石处理重要机密文件，以密电翻译为最多，还有书信、电文等的拟定、誊缮，每日工作量相当大。后来，邵力子被派往北方，到冯玉祥部接洽要事，整个工作重任，由陈立夫一人挑起，他每天披星光起床，伴月光忙碌，工作时间长达十几个小时，由于他年轻力壮，硬是撑了下来。 陈立夫每天处理的文件包罗万象，十分复杂，有政治的，有党务的，有军事的，有经济的，还有私人的，五花八门，目不暇接，整天疲于奔命，十分辛苦。陈立夫是学工程的，他常想，在工程中，技术进步可以提高生产效率，公文工作能否破除以往常规，搞一点技术革新呢？他反复思考，仔细推敲，到了入迷程度。

经过一段时间的琢磨，陈立夫自创了一套“五笔检字法”，将此运用于文件归档、电报分类，使工作效率大为提高。 五笔检字法即将文字分为五个笔画系统：点、划、直、斜、曲，这是第一个系统，然后在第一个系统下，又可产生25个部类，例如，在点之下，依次序排列为：点点、点划、点直、点斜、点曲等。 陈立夫将此分类法运用于公文工作中，十分方便，如果一个电报，是何应钦发来的，那么将它归/|（斜直）类的档案抽屉内，将来要查找，便在/（斜）类的第四个抽屉内去找即得，十分方便。一次，蒋介石要查找一份文件，陈立夫到机要室，仅半分多钟就拿出呈上。蒋介石十分惊奇，问陈立夫怎么一下子就能寻到，陈立夫即道出秘密，并就此宣传了“五笔检字法”的好处，蒋介石听了非常高兴，当即夸奖陈立夫：“你这是把科技知识运用于你的文书工作了。”并鼓励他将这种方法推广，后来，陈立夫将其整理成书，名曰《五笔检字法之原理与运用》，由上海中华书局出版。 陈立夫除了忠实做蒋的秘书外，由于常在一起生活，有时对蒋的个人性格方面也提一些善意谏言，由于他提得比较策略，有些方面也能为蒋接受。如蒋介石有时脾气很坏，特别是对军人，脾气来了大声吼叫，甚至谩骂。

陈立夫认为这种性格不好，影响人际关系，破坏个人形象。一天，饭后他陪蒋介石散步，便开始谏言。陈立夫先讲了德国兴登堡将军的故事，然后说：“兴登堡将军说过一句名言：‘发脾气是自己惩罚自己’，兴登堡这个人是从不发脾气的，他是一个天才军事家，他有一段时间处境也很困难，但他不发脾气，威廉二世下台后，人民便选举兴登堡为第一任总统。”由于陈立夫的劝说很讲究方法，对蒋介石产生了一些作用，后来，蒋的脾气有所改变，特别是对陈立夫，20多年很少发过脾气。 陈立夫确实是“竭尽智能”、“忠心耿耿”为蒋介石效劳。刚开始，他的想法还是良善的，以为这是为国家、为社会服务，但他并不了解社会发展的规律，所以，当他把自己绑在了蒋介石的战车上后，当整个国民党违背历史规律的时候，他越是尽心、尽力、尽责地进行工作，献身于他的“理想”，那么，便离他最初的美好愿望相去越远。