在曾国藩的朋友圈中，算得上一生挚友的，大概有湖南湘乡的刘蓉、朱尧阶，湘阴的郭嵩焘，岳阳的吴敏树，湘潭的欧阳兆熊；省外则有安徽霍山的吴廷栋、湖北武汉的刘传莹。而先友后敌，挚友交情未能善终的有原湘乡知县朱孙诒（江西人）、陈启迈（常德人）、左宗棠（湘阴人）和沈葆桢（福建人）。而长沙的冯卓怀，则是一个与他由亲而疏，又由疏而亲的朋友，这种失而复得的友谊比较少见。

冯卓怀，字树堂，号暨楼，湖南长沙人，生于嘉庆十八年（1813），道光十九年（1839）高中湖南乡试解元，即第一名举人。冯卓怀随后进京参加会试，就此结识了刚于上年考中进士的曾国藩。从年龄来说，他比曾国藩小两岁；从科举资历来说，他比曾国藩迟五年中举；从籍贯来说，同属于湖南长沙府。两人很快成为挚友，有段时间甚至住在一处，冯卓怀还给曾国藩长子曾纪泽做家庭教师。

他们的关系好到什么程度？曾国藩在家信中说，冯树堂是如唐鉴、倭仁一样“躬行心得”之人，“极为虚心，爱我如兄，敬我如师”。又说冯树堂“进功最猛”，不免有点遗憾自己的九弟不能与他“日日切磋”。这个时候的冯卓怀一心准备参加会试，努力用功是必然的。对此，曾国藩常在日记里怨艾自己，也照冯卓怀那样订立严格的日课来自我约束。此外，两人还互相点评对方的日记，曾国藩往往会写一些比较尖刻的批语，而冯卓怀则轻易不置一词。

道光二十二年（1842），正逢冯卓怀三十初度，针对他科举艰难的窘况，曾国藩专门写下《反长歌行》进行劝勉。次年九月，曾国藩出任四川乡试主考官，行旅中倍感孤寂之际，写下《梓潼道中有怀冯树堂陈岱云》一诗，可见彼此交契已深。当曾国藩于咸丰二年（1852）七月二十五日在安徽太湖县小池驿闻母去世之信，急急赶回家之际，可巧冯卓怀正在池州知府陈源兖（字岱云）处，遂陪他乘船归湘，曾国藩因之自道“堪慰孤寂”。

冯卓怀坚持到咸丰三年（1853）春再次会试不第，才通过会试后的大挑，选取了湖南武冈州的学正一职。但未及上任，曾国藩开始创办湘军，冯卓怀和郭嵩焘等一起帮他筹饷，以功保举代理四川万县知县。曾国藩尽管对他们未能随营出征有些不快，但为了好友能够仕途顺利，后来还是专门致函时任四川总督王庆云，以闻冯卓怀有循声为由，委婉地请求关照。冯卓怀先后在四川万县、彭县、华阳等县任职共4年，勤勉有加，拟调贵州升职，却与上司不偕，就以祖父去世为由辞职守孝，不复出。

咸丰十年（1860）四月，曾国藩获代理两江总督，不免踌躇满志，致信邀长期赋闲的冯卓怀出山帮忙。冯卓怀于十一月与章寿麟等人来到了临时督署所在地安徽祁门县城，旋即奉命督办县城各处的碉楼。不过，因为施工方案上的一个小事项未能完全遵循曾国藩的意旨，被声色俱厉地当众训斥，冯氏顿感颜面殆尽，遂拂袖而去。

虽然曾国藩并没有在日记中具体记述这件事，但还是能在次年二月初七给郭嵩焘兄弟的信中窥见端倪。他不但要求郭嵩焘把冯卓怀带走的《瀛环志略》一书取回来，还要代为把去年赠自家的300两银子退还200两，理由是“受之太觉无名”，这显然是一种从此互不相欠的姿态，可见芥蒂之深。

当冯卓怀的名字再次出现在曾国藩日记中，已经是同治三年（1864）的四月初一了，他听闻冯卓怀绝意官场，即使好友郭嵩焘于同治二年（1863）任广东巡抚后力邀加盟幕府也没有答应，便专门致信，既谢他规劝弟弟曾国潢不要干预湖南地方公事，也希望他尽快复出，无论是去广东还是四川，都请他能“不以一时纤介之嫌，而误终身出处之义”。但是这个规劝未能奏效。