佩戴大将军衔标志的朱可夫

朱可夫随后出任乌克兰军区副司令。1940年5月，随着苏军军衔制的恢复，获得大将军衔。6月，朱可夫升任基辅特别军区司令。他注意到许多高级指挥人员未能切实训练年轻军官，要求人们更深入地研究军事史和俄国军队与人民的军事传统。1940年12月至1941年1月的莫斯科军事会议，接受了朱可夫关于机动部队作战问题的理论并组织了战略性的图上对抗军事演习。朱可夫后来认为演习情形与纳粹德国进攻苏联的情况极为相似。　　1941年1月13日，朱可夫接替梅列茨科夫出任苏军总参谋长。3月8日，被任命为副国防人民委员兼总参谋长。上任伊始，朱可夫立即着手加速实施对军事机构的改组，清除不称职的军官，谴责官僚主义作风；从人员、武器和军事思想方面加强军队建设。5月，朱可夫和总参谋部制定出苏联西部边界的防御计划。朱可夫和国防人民委员铁木辛哥多次将德军即将侵苏的情报向斯大林报告，但直到6月21日才获准命令边境部队进入战备状态。　　1941年6月22日纳粹德国背信弃义地发动侵苏战争。朱可夫成为最高统帅部大本营成员。7月29日，朱可夫认为苏军将被迫放弃基辅，同时应在耶利尼亚组织反突击以阻滞德军，但遭到斯大林的反对。

次日即改任预备队方面军司令。任内在耶利尼亚地域成功地阻滞了德军的推进。　　德国北方集团军群于9月8日完成了对列宁格勒的陆上封锁，该市只能通过拉多加湖与外界联系。9月10日，朱可夫奉命飞抵列宁格勒，接替伏罗希洛夫任列宁格勒方面军司令。朱可夫和政委日丹诺夫加强思想政治工作，鼓起全体军民的必胜信心。朱可夫制定出加强城防的计划，动员市民参加修筑防御工事，参与防空准备。经过全体军民的努力作战，到10月6日，德军损失严重，被迫转入防御。