1929年4月8日，国民党三届一中全会上，29岁的陈立夫被选为中央党部三届执委首任秘书长。最开始的提名，是由蒋介石与胡汉民两人共同推荐的。当时陈立夫在国民党中是区区小辈，与胡汉民仅见过几次面，没有任何接触，为什么胡汉民会推荐陈立夫呢?最重要的原因是，三全大会上蒋胡合作，打击了汪派势力，胡汉民得到了一定的利益。作为回报，胡汉民必须有一些亲蒋表示，陈立夫是蒋的亲信，蒋介石不好一人推荐，胡汉民与蒋联合推荐陈是蒋求之不得的事，可以使蒋避免结党营私的嫌疑。其次，陈在为蒋做机要秘书时，所表现出的认真、负责、谨慎、吃苦的精神，胡汉民也略知一二，虽然与陈没有接触，但对陈没有坏感。 正在上海的陈立夫得知中央秘书长的任命后，内心虽然高兴，但也多出一番考虑，他知道自己年轻，担此重任，一定会引来多方注目，于己不利。考虑再三，便以身体不好为由，向中央递上一纸辞职书。蒋介石等知道这是陈立夫故作姿态，因此，在4月11日召开第一次中常会，决议“电陈立夫同志促其即日就职，在陈同志未就职以前，由叶楚伧同志兼代”。其时，叶楚伧已任国民党宣传部长，根本无暇做秘书长工作。

陈立夫接电后，知道秘书长非他莫属，于是再度复电请辞其职。4月15日，国民党召开第二次中常会，决议再电促陈立夫提早就职，并让其兄陈果夫去函促请。中央越是电召，陈立夫越是觉得有作姿态的必要，于是又上一辞呈云：“余绝非自谦，乃自量无能胜此重任，请另选贤能，免误公事。”4月29日，国民党中常会召开第六次会议，对陈立夫三次辞呈，有些不满，有人提议另选他人，但蒋介石当时不在南京，未参加会议，胡汉民不敢自作主张，便提出待蒋先生返南京后再商议办法。 这一下，陈立夫倒是慌了，再加上他认为三次辞呈，已转移了各方注意力，表明自己当秘书长是情非得已。于是，急忙由上海返回南京，称病情已有好转。后来，蒋介石回南京，在6月24日第十八次中常会上，陈立夫接受了任命，担任中央秘书长之职。 秘书处是国民党中央的一个重要机构，在党的代表大会闭会期间，安排全会和常会的议程，注重重要议案的议程安排，妥善处理所有的决议案，并提交中央执行委员会和常务委员会，处理与政府间有关系的文书及事务，处理党内联系和党外关系，间接监督党内其他组织单位等，权力既大而广，事务既多又复杂。

陈立夫上任时只带了一个人，其他人事，全部照旧，以稳定人心，让大家团结一起，努力干事。 陈立夫上任后，对文书室下的功夫最多。文书室负责复印、印刷、档案分类的工作。由于陈立夫过去搞工程工作，在美国待过多年，他引进一种新的印刷方法，使印刷效率提高了好几倍，以前只能印刷200份，现在增加到1000多份。同时，他要求用五笔检字法进行档案分类，使得原来杂乱无章的各种档案一下子井然有序。效率提高了，人的工作减轻了，地方党部的人来看了感到惊奇，蒋介石等人看了满意，秘书处的人也很高兴。