同治八年（1869），彭玉麟告老还乡，如他自己对朝廷所述：“臣素无声色之好，室家之乐，性犹不耽安逸，终年风涛矢石之中，虽甚病未尝一日移居岸上，臣以寒士始，愿以寒士归。”

1816年，彭玉麟生于湖南衡阳一没落官宦家庭，不慕名利、不避权贵、不治私产、不御姬妾，甚为传奇。

彭玉麟16岁时，父亲病逝，彭玉麟开始自立养家。后来，他来到湖南耒阳，在一个姓杨的富商家打工。耒阳县郊突然有农民起义，富商听说要来攻打耒阳城，吓得卷起细软走了，临走之际，对彭玉麟顺口一说：“你能不能帮我看看家？”

彭玉麟答应了。

后来传说起义军打进城了，周围邻居全跑了，就彭玉麟不走。旁人就说他，兵荒马乱赶紧走啊，别人都跑了，你还傻守着。彭玉麟回答，要是我没答应他那就算了，可是我答应他了，我坚决不走。

君子一诺千金重。后来，起义军并未攻进城。

第二次又有起义军进城的消息，这一次起义军真的打进城了，彭玉麟发府库之兵器，把军械库的兵器都打开了，组织当地军民，据城自守。彭玉麟不但兵法韬略出神，更有一身好功夫，尤其一手剑法出神入化。他竟带领百姓守住了耒阳城。

众人无不惊奇，一个文弱书生竟有如此本领。

当时正在湖南衡阳办团练的曾国藩听说了彭玉麟，直叹：“人才呀。”

曾国藩觉得彭玉麟君子一诺千金，又有真本事，守住了一座危城，便决意要把彭玉麟请出山，并决定亲自去请。

曾国藩第一次拜访彭玉麟家，只见一间茅庐，家徒四壁，仅可避风雨。可是彭玉麟却让他眼前一亮，剑眉朗目，淡定从容，玉树临风，曾国藩一见折服。可他没有想到，彭玉麟竟对他提的出山要求断然回绝，第二次去请，彭玉麟又以在家为母亲守丧为由，又一次拒绝。

彭玉麟一生坚持信仰，始终不渝，是典型的儒家传统知识分子。第三次，曾国藩与他彻夜长谈，家国天下兴衰，君子之义，彭玉麟被曾国藩“天下兴亡，匹夫有责”的情怀打动，终于欣然应允，但只提出条件，不要官。

此后，彭玉麟随湘军水师，征战湘潭、岳州、湖口、枞阳、九洑洲、东坝等地，屡立战功，逐渐成为湘军水师统帅。彭玉麟同曾国藩筹划长江水师建制，奠定了中国水师最初的建制和基础，组建了中国近代史上最早意义的海军，其筹建谋划一直沿用至今，影响深远。

当时流行一句话：李鸿章拼命想做官，彭玉麟拼命想辞官。

彭玉麟1861年辞安徽巡抚，一连三次辞谢；1865年三辞肥缺漕运总督，所述理由“除不懂漕政外，又加上性情褊急，不会与各方圆通相处”；1868年辞当了六七年的兵部侍郎，原因是“当年从军时，三年母丧只守了一年，现在国家安定，理应解甲归田”；1872年，同治帝大婚，朝廷请他做“署理兵部侍郎兼庆典宫门弹压大臣”，待到庆典一结束，彭玉麟又上书辞职；1881年，彭玉麟辞两江总督兼南洋通商大臣。

据统计，彭玉麟一生6次辞高官，18次辞小官，但有一次，他竟然主动“请官”。

1882年，朝廷任命彭玉麟为兵部尚书，即今天的国防部长。然与过去一样，彭接旨后即请辞，这一次朝廷铁了心，几次催促，但彭玉麟反复请辞。次年，中法战争爆发，没想到几个月后，彭玉麟主动问：兵部尚书之位还在吗？在的话就给我，我要当。

军人信仰马革裹尸，彭玉麟一心只想做实事，誓要保家卫国，战死沙场。

此时，彭玉麟已经68岁，体弱多病的他临危受命，立即募兵4000余人，驻守在虎门附近。坐镇广州镇海楼，调兵遣将，整修炮台，置办团练，广东防务迅速得到加强，并向朝廷进谏：“此次能力图自强，则各国皆不敢有轻视中国之心！”

烈士虽暮，壮心不已。

尽管法军尚未进犯广东，但彭玉麟督办军务毫不松懈。光绪十年（1884）除夕，彭玉麟视察广州各海口后，在虎门沙角炮台与将士们“枕戈度岁，严阵以待”，他大胆起用原广西提督冯子材，力荐其统兵进关入越作战，取得了镇南关和谅山大捷。

镇南关大捷在中国近代史反侵略战争上，是战果显赫的战役之一，给法国侵略者以沉重打击。消息传至巴黎，导致茹费理内阁倒台。然而，时势已至，明明战胜的情况下，清政府却和法国签订不平等条约，此时彭玉麟向朝廷进谏，决不能议和，并列出五大理由。然终究议和，彭玉麟仰天长叹！

曾国藩死后，彭玉麟奉命每年巡视长江水师一次。

他第一次巡阅长江，就将提督黄翼升撤掉，并弹劾了两百多名水师官员，长江水师在他的整治下，秩序井然，这为后来的中国海军，树立了很好的榜样。彭玉麟巡阅期间，不仅弹劾水师官员，还惩治长江两岸的土豪劣绅。李鸿章的堂侄子欺压乡里，鱼肉百姓，终被彭玉麟亲自斩杀。

彭玉麟有个外甥曾任知府之职，因贻误军机也被他杀了，彭玉麟不胜其悲。人们将他比作宋代的大清官包拯，称他为“彭青天”。

彭玉麟少年时曾与一女子相爱，彭玉麟称她为梅小姑。青梅竹马，赌书泼茶，耳鬓厮磨，灯前月下。彭玉麟发誓，今生非梅小姑不娶。可天意弄人，他们的婚事遭到彭玉麟母亲强烈反对；梅小姑见状，不忍彭玉麟为难，只得心里淌着泪让家人将她嫁与旁人。

可没想到梅小姑在嫁出去4年不到，抑郁而终。

彭玉麟在梅小姑的墓前，曾万念俱灰，身心俱裂，哭吟：一生知己是梅花。曾国藩去彭玉麟家中拜访之时，见彭玉麟虽家徒四壁，但却挂满梅花图。往后余生，彭玉麟只练剑、写诗、画画。

他画了半个世纪的梅花，用尽一生怀念她。他甚至一生不用丫鬟，只有一个老兵照顾他，相依为命，世人称为“史上最痴情高官”。

1890年，彭玉麟以平民之身病逝于衡阳城内退省庵，终年75岁。