1959年的庐山会议，由于彭德怀被罢免了国防部长职务，有的人便对于军衔制也产生了不同看法，并以军衔制使干部“手不能提，肩不能挑”来批判彭德怀。为了“服从大局”，检讨自己的“错误”，不久彭德怀把自己的元帅服上交了中央。
新中国成立不久，在全国掀起学习苏联的热潮中，毛泽东也向全军发出了指示：“一定要将苏联的一切先进经验学到手，改变我军落后状态，建设我军为世界上第二支最优良的革命军队。”据此，1950年3月30日，解放军干部部在工作总结报告中明确提出把研究军衔的准备工作列入1951年的工作计划。
一、
实行军衔制，是世界各国军队走上正规化建设的必由之路。
关于在我军实行军衔制的提议，可追溯至抗日战争时期。西安事变和平解决后，国共两党开始了第二次合作。全面抗战爆发后，工农红军改编为国民革命军第八路军，朱德任总指挥，彭德怀为副总指挥（改为十八集团军后，称总司令、副总司令），叶剑英为参谋长，左权为副参谋长。随后，八路军将士开赴晋察冀抗日前线，在阎锡山统领的第二战区内，与国民党军一起开展对日军作战。
抗战期间，由于没有军衔，不仅为我军与友军的协同作战带来不畅，也给与美军、苏军等打交道带来诸多不便。为保证联系渠道顺畅和洽谈时身份对等，中共中央曾给贺龙、萧克授予过中将军衔，给王震、周士弟、张宗逊授予过少将军衔。1945年8月抗战胜利之后，我军要进军东北，且要与苏联红军打交道，中共中央专门就此进行了研究。考虑到工作需要和方便，临时决定给彭真、陈云、叶季壮授予中将军衔，给伍修权授予少将军衔，给段子俊、莫春授予少校军衔。此外，在1946年我军派出人员与国民党代表在军事调停处谈判时，还临时授予耿飚、许光达等人少将军衔。
二、
1950年6月朝鲜战争爆发，10月，彭德怀率领中国人民志愿军出国作战。但全军的军衔准备工作没有因此而停止，相关工作仍在进行着。
1951年国庆节的晚上，在朝鲜前线的彭德怀给毛泽东发去了一封电报，在汇报完有关作战方面的问题后，他提到：“我人民解放军来自各根据地，许多具体制度不一致，目前统一教材、编制、纪律、内务规则、礼节已非常必要。长期无官阶制度，一时评定官阶是困难的，目前宜采取过渡办法，规定职务识别，在目前战斗中已感必要。”毛泽东也感到了志愿军在异国作战没有军衔给指挥和作战带来的许多不便，他接受了彭德怀的建议。不久彭德怀因病回国后，毛泽东即让他着手推进军队的军衔工作。
实行军衔制，彭德怀是积极和赞成的。但在着手进行时，他的心里又是有顾虑和矛盾的。他认为，我军是从人民中间走出来的，经过了长期革命战争的锻炼和考验，军队之间、军民之间已经形成了一种亲密的鱼水关系。搞军衔制会影响到军队上下级之间的政治平等，会影响军队同老百姓的关系。怎么搞？他心里没有底。但这又是大局和方向，必须搞！
三、
当时，尽管有人对自己的军衔太低有怨气而发牢骚，所谓“男儿有泪不轻弹，只因未到评级时”，但经过平衡和政治思想工作，全军在总体上仍感到基本满意。然而，真正对评衔工作表示极大不满的，是那些被宣布要离开军队的女军人。