临川贡士张榉从小到大循规蹈矩，从未单独出过门。这次去抚州参加省试，对他来说，能否考中并不重要，重要的是能出来撒撒欢。
连玩带走几天，张榉到了玉山道中，晚上投宿于一间旅店。旅店设在官道旁，人来人往，生意不错。店家给张榉开了一间房，安顿完了，张榉到饭堂吃饭，却没了座位，于是让小二把酒食送到房中。
张榉关好门，对窗坐定，刚要倒酒，发现桌上有一个卷轴。他伸手取过，徐徐展开，竟是一幅工笔仕女图，画上肩扛花锄的美女回眸微笑，脸上还挂着红晕，让人怦然心动。画的上款用蝇头小楷写了“吴四娘图”几个字，下款未落，不知谁人所作。
“这店家真是风雅，吃饭还送画。”张榉一边想着，一边将画挂在墙上，倒了杯酒，先举到美人嘴边，嬉皮笑脸地说，“叨扰小娘子陪在下饮酒了，且敬小娘子一杯。”之后，他转手将酒送到自己嘴边，“谢谢小娘子赏酒，在下先干为敬。”说罢仰脖把酒喝了。
左右无人，张榉很快进入忘我之境，一会儿长歌，一会儿痛饮，一会儿伏在画上作轻薄状，假意捏着美人的脸颊，学着乡里轻薄少年的样子说：“四娘若真有灵，敢不敢今夜赏光下凡啊？”不知是不是醉酒的原因，张榉只觉画中美人盈盈一笑，让他更加兴奋了。
他连喝带闹直到半夜，倒在床上沉沉睡去。不知什么时候，张榉感到有人轻推自己，他迷迷糊糊地伸手拨开，连眼都没睁，含混地说：“别吵我，我还要睡觉呢。”那人并没走，反而靠得更近，贴到了张榉的身边。张榉在睡梦中嗅到一阵香气，觉出耳边有人吹气，还用轻柔的声音说：“是我啊。”张榉猛地睁开眼，转过头，见一女子半躺在自己身边，正是画中的美人。
张榉吓得魂飞魄散，一骨碌爬起来，躲到了床脚深处，问：“你是谁？是人是妖？”女子讥诮一笑，道：“不是你招我来的吗，怎么反倒怕了？”张榉的脸一下子红了，窘迫得无以复加，只想找个地缝赶紧钻进去。他四下张望，一把拽过被子蒙在头上。
第二天醒来时，女子已经不见，可枕上还留着香气，说明昨晚的经历并不是做梦。张榉看向墙上，画依然挂在那里，画上的美人仍是回眸，笑容却和昨天不同，有了一丝甜蜜的揶揄。张榉小心翼翼地把画摘下来，轻轻地抚摸着，却得不到任何回应。又要上路了，他把画仔细卷起，拿到店主那里，问要多少钱可以把这幅画买下来。店主展开卷轴看了看，说：“这不是我家的东西，想是之前的客人落下的，也不是什么值钱的东西，你喜欢就拿走好了。”
吴四娘图成了张榉的珍宝，他把它揣在怀里、放在胸前。这天，他早早投宿，关上门，把画小心地挂在墙上，恭敬地作揖，低声唤着四娘的名字。当他再抬起头时，四娘笑吟吟地站在面前。
张榉的行程越来越慢了，每天早早就投宿，天大亮了才起床。眼看省试的日子近了，离抚州还有好几天的行程，可他并不打算赶路，只因离家时的许诺才继续向前走。快到抚州的一个晚上，张榉如往日一样招呼四娘，她却没出来。画看上去和往常一样，但仔细端详，画中美人的眼神却没有望向他。张榉不知发生了什么，整晚坐在画旁，断断续续地喊着四娘的名字，但到天亮四娘也没来。
张榉心神不定，去贡院报到后按期进了考场，然后昏昏沉沉地考试，也不关心成绩如何就踏上了归程，四娘的画像当然也在他的怀中随行。离开抚州两天，晚上四娘又来了，却说：“明天我就要走了，不过只是暂别，我们一定会再聚的。”张榉不想让四娘离开，哭了起来，但她沉默不语。
张榉是哭累了才睡着的，醒来时四娘果然已经没了踪迹。张榉跳下床去看那幅画，四娘在画中笑望着他，本来空白的下款部分出现了一行小字：一切已有安排。
张榉失魂落魄地回家了，不久后抚州传来消息，张榉本年没能考上。家人认为他受了打击，因此对他百般安慰，鼓励他明年再考。他每日躲在书房，把吴四娘的画像挂在墙上，无人时就痴痴地看着它发愣，可四娘再也没从画里出来过。
转过年，家里给张榉安排了一门亲事，对方是崇仁人，与张家门当户对。女郎在家排行老四，据媒人说，她小时候虽不好看，但女大十八变，这一年来竟是貌美如花。张榉对此毫无兴趣，如木偶般任人安排。他不知此生还有没有机会再见到四娘，也不知自己能做些什么，只能听天由命。
婚礼当晚，张榉木讷地坐在新房，任新娘盖着盖头待了一夜。第二天早上，他照例去书房，却被母亲拦住了，问他新娘如何，他无言以对。母亲让婢女把新娘招呼过来请安，新娘踏进门来的刹那，张榉呆住了──这不就是吴四娘吗？
新娘的面容和四娘一模一样，笑容也很相似。离开母亲房间后，张榉一把拽住新娘，期期艾艾地喊：“四娘──”新娘很吃惊，不明白张榉为何忽然变得如此亲近，没敢抽回手，但红着脸低下了头。
新娘并不是吴四娘──一番倾吐之后，张榉发现她对旧事一无所知，也不曾离开家门。但如何解释她与吴四娘长得一模一样呢？就连一颦一笑都像四娘再世。张榉怎么也甩不掉心中的疑惑，问新娘去年家里发生过什么怪事。新娘忆起，去年春末，她不明不白地生了一场大病，病得不能识人，病好之后连模样都变了。
张榉明白了，想起吴四娘临走时对他说“一定会再聚”，还想起画上多出的那行小字。张榉不知她付出了怎样的代价，才以这种方式与他相见。他留下了她的肉体，却再也找不到那个带着揶揄安慰他的四娘。想到此处，张榉不知是喜是悲，眼泪不由自主地滚滚而出。
注视着张榉的新娘被吓了一跳，她温柔地为张榉抹去泪水。她的动作那么熟悉，张榉不由抓住她的手腕，将她揽在怀中，然后放声哭了起来。