清安徽合肥人，字省三，号大潜山人。咸丰四年(1854)在乡办团练，对抗捻军和太平军，擢千总。同治元年(1862年)率部加入淮军，称“铭字营”，长期在苏浙地区镇压太平军，由参将、副将、总兵升至记名提督。四年晋升直隶提督。曾倡议用兜围战术围攻捻军。七年督办陕西军务，率部镇压回民军。光绪六年(1880)上书陈兵事，主张借洋债修铁路。十年奉命督办台湾军务，在基隆和沪尾(今淡水)一带抗击法军八个月。次年台湾设省，为首任巡抚，整顿吏治、丈田清赋、筑炮台、办铁路、开煤矿及设学堂等，对开发台湾多有建树。十六年奉命帮办海军事务。次年因病辞归。屡召不出。谥壮肃。著有《刘壮肃公奏议》。