“家徒四壁”或“家徒壁立”——家里空空的，什么都没有，只有四面墙壁。这是形容极度贫穷的一句成语。《史记》和《汉书》记述司马相如贫穷时的家境，曾用过这样的话：“家居徒四壁立”。

司马相如是汉初的一位作家，他的词赋写得很出色。可是当时的汉景帝（刘启）不喜欢词赋，却爱打猎。司马相如当过陪景帝打猎的官（武骑常侍），不感兴趣，就到梁孝王（即景帝之弟刘武）那里住了几年。当时的所谓梁，在今河南的开封、商丘一带。梁孝王在那里修建了梁园，招纳了不少文士。司马相如的名作《子虚赋》，据说就是在那里写的。（参看“子虚乌有”）

梁孝王死后，司马相如就回到故乡四川。他是成都人，家里很穷，因为和临邛的县官王吉相识，便到临邛去找王吉。王吉对他十分敬重，留他住了下来。临邛有个大财主叫卓王孙，家里的仆人就有八百之多。卓王孙听说县官有贵客莅临，想趁此结交权势，并炫耀自己，便大张筵席，宴请司马相如和王吉，陪客的人到了好几百，席间非常热闹，司马相如还弹了琴，博得满座称赏。

卓王孙的女儿卓文君新寡在家。好爱好诗文音乐，偷听了司马相如的弹奏，对他很是爱慕。司马相如知道了，也对卓文君发生好感。可是卓王孙嫌司马相如贫穷，不同意他俩结合。他俩说在一天晚上偷偷离开临邛，逃往成都司马相如的老家。司马相职的老家是个什么情况呢？——“家居徒四壁”，屋里空空的，什么都没有。

可是，卓文君很勇敢，愿意跟随司马相如过艰苦的生活。他俩开了一间小酒店，文君当垆，相如身穿犊鼻（短裤），亲自操作，一点也不以为苦。拿来，汉武帝读到了司马相如的文章，十分叹赏，传诏把他召进宫去，给了他官职，司马相如从此远近闻名，卓王孙的势利眼也不再瞧不起他了。