红军时期，在统一军旗制作时也曾设计过军徽式样，但当时受条件所限，无法在全军推广。后来，我军曾经使用过的红五星帽徽、“八路军”“新四军”臂章、“中国人民解放军”胸章等，一定程度上也起到了军徽的作用。

1948年冬，在解放战争即将取得全国胜利之时，中共中央军委和中国人民解放军总部领导人在河北西柏坡讨论军队正规化问题时，同时提出了统一军旗、军徽的问题，确定由时任军委副主席周恩来主持设计军旗、军徽工作，并由时任总政研究室副主任、第一研究室主任的黄镇牵头组成设计组。军旗、军徽样式的汇集、综合和研议工作交由军委作战部一局承办。

1949年6月15日，新政治协商会议筹备委员会开幕，在这次大会上，以“中国人民革命军事委员会主席毛泽东，副主席朱德、刘少奇、周恩来、彭德怀”的名义，发布了《关于公布中国人民解放军军旗军徽样式》的命令。命令中指出，中国人民解放军军徽样式为镶有金黄色边之五角红星，中嵌金黄色“八一” 两字，亦称“八一”军徽。红星象征中国人民获得解放，“八一”表示1927年8月1日中国共产党人发动南昌起义，人民军队由此诞生。

1951年，中央人民政府人民革命军事委员会总参谋部颁发的《中国人民解放军内务条令（草案）》中，曾附录了陆军军徽、海军军徽和空军军徽样式。陆军军徽亦即中国人民解放军军徽。海军、空军的军徽也以“八一”军徽为主体。其中海军军徽为藏蓝色底，衬以银灰色铁锚。空军军徽为天蓝色底，衬以金黄色飞鹰两翼。