荣臻代总长要黄克诚到总参去上班，帮助处理日常工作。于是，黄奉命前去，但那时仍兼总后的工作。
到1953年，黄克诚把总后的实际工作交给了洪学智，黄克诚向中央作了总后工作的报告，正式结束了他在总后的工作。此后，黄克诚便把全部力量放在了军委、总参的日常工作上去了。
1952年底，彭德怀住处。
朱德、彭德怀、聂荣臻、粟裕、陈赓、肖华、肖克、肖向荣、赖传珠、徐立清、杨立三以及刚到总参工作的黄克诚，一起开会，主要内容是研究军队的改革和建设工作。此后，这个会就形成常会，开过多次，当时也被称为军委会，因为它实际上是做这个工作的，再向上就是报中央、毛主席批示了。
但是，它并不是中央任命的军委会，只是个适应急需的工作组织。
1953年7 月，朝鲜战争结束，彭德怀正式回国。
1954年9 月，全国人大任命彭德怀为国务院副总理兼国防部长，聂荣臻离开了总参。粟裕任总参谋长。黄克诚被任命为国防部副部长，仍兼副总长，负责军委。总参的日常工作。当时，军委和总参是一个办公厅，还没有以后那样详细的分工。
1954年11月，中央正式任命以毛泽东、邓小平和后来受衔的十位元帅，共十二人组成军委会，毛泽东为军委主席。
随后，毛泽东召开了第一次军委会议，正式把军队工作交给彭德怀主持，彭德怀成了常务副主席，重大问题则由军委开会决定，报中央及主席批示。
黄克诚虽然不是军委委员，但因工作需要，实际上早就担任了秘书长的职责，帮助彭德怀做日常工作，成为彭德怀抓军事的主要助手。
1958年6 月，毛泽东在军委扩大会议讲话时曾说过：“我四年未管军事，一切推给彭德怀同志……不是军事工作都搞坏了，基本上搞得好……讲责任，第一是我，第二是彭德怀，第三是黄老，因为他是秘书长……”
毛泽东的这番话，就是针对上述情况而言的。
处于开创时期的军委、总参，工作问题多得不得了。
那时，我们的各军、兵种都在初建，领导者都是身经百战的将军，魄力大、个性强、工作积极性非常高，都要在新岗位上作出新贡献。他们都向军委、总参、总后强调自己这个部门的重要性，争取多拨一些经费。他们要钱要物资、要外汇，争论得不可开交。这只能由军委、总参会同总后解决。这样，黄克减就成为协调各部门关系的主要人物之一。
在一次会议上，黄克诚曾经苦口婆心地劝导各部门的负责人说：“我们要顾全军队全局，只强调某个局部是不行的，平均主义的分配也是不行的。我们都是高级将领，都懂得战时不能平均使用兵力，必须从全局考虑，有主次、善配合，才能打胜仗。规在建设也一样，要全面考虑，区别缓急，先抓重点、急需的工作。比如：海军要建设舰队，当然是合理要求，但费用大、时间长，不是我们目前力所能及的，就应把它当作长期任务来考虑。海军目前重点是海防，可以先抓急需，搞那些既能加强海防、又能建设较快、费用较低的。空军在建军中是当务之急，我国因没有空防，抗美援朝时牺牲极大，建设空军队伍比海军舰队费用要少一些，而需要更急一些，所以，我们应考虑重点先建空军……”
像这样摆情况、讲道理，同时虚心倾听并吸收大家合理的意见，问题一般就比较容易解决些。
当然，也有一些高级干部坚持己见，甚至对负责这方面事务的干部大吵大闹乃至大骂。使这些干部感到很苦恼，甚至不愿干这个工作了。
对此，黄克诚耐心地劝说他们：“我们不要怕挨骂，当面骂就和他讲道理，背后骂就只当不知道。共产党员只要做的事对国家。对党有利，就要能任劳任怨，挨骂、受委屈都是光荣的。对工作要从党性原则出发，不要计较个人得失。”
为了军队的逐步现代化，我国在十分困难的情况下，很快建立了一套军事工业体系，建立了各种军事工厂，建立了国防工办，并建立了军事工业学院。
我国不但自制先进的常规武器，自制飞机舰艇，而且设立了国防科研系统，开始研究国际上先进的尖端武器。为此，军委决定建立国防科委，由聂荣臻元帅负责领导国防科委工作。
当时，我国有许多热爱祖国的、高水平的科学技术专家，为了建设新中国，不少人抛弃了国外的良好条件和优厚待遇，甘愿在祖国困难的条件下，从事国防科研工作。他们和一大批从事
