崂山下清宫，美丽幽静。院内有耐冬树木高达两丈，大数十围；一株牡丹高达丈余，花开时节璀璨似锦。
胶州黄生在崂山下清宫读书。一天，黄生正在窗下读书，读得久了，有些疲惫，于是向窗外观看。忽然发现有一穿着素衣的年轻女郎，掩映在百花丛中。他心中疑惑：这深山古寺怎么会有这少女出现呢？于是开门出去，想看个究竟，又哪有女郎的影子？从此，黄生经常看见这素衣女郎，但每次都找不到她。于是黄生决定偷偷的隐身树丛之中等候着女郎的到来。不大一会，果然见那素衣女郎和一位红衣女郎来了，远远地望，具可谓艳丽双绝。她们二人慢慢地越走越近，忽然，那红衣女郎向后退了两步，说：“不好，这里有生人！”说着，就要离开。黄生怕错过这次见面良机，急忙从树丛中钻出来。两位女郎大惊，急忙往回奔跑，袖裙飘拂，香气洋溢，沁人肺腑。黄生追过一堵短墙，发现她们已踪影皆无。黄生对女郎的爱慕之情更加强烈，于是取来笔硕，在树下题短诗一首：
无限相思苦，含情对短窗。
恐归沙吒利，何处觅无双。
黄行回到房间，苦思冥想，心中久久不能平静。忽然，那素衣女郎推门进来，黄生又惊又喜，急忙站起身来迎接。她微微一笑，说道：“看你刚才简直象个气势汹汹的强盗；看了你的诗，才知你乃骚雅之士，不妨相见。”黄生受宠苦惊，急忙问女郎的生平。她说：“我名叫香玉，原是洛阳人氏。只中被宫中道士强迫来这里，其实并不是我的愿望。”黄生问：“那道士叫什么名字？我一定为你排忧解难。”女郎说：“不必了，其实道士也不敢强逼我什么。在这里若能够长期和你幽会，也好啊！”黄生又问那红衣女郎，她说：“她是我的干姐姐，名叫绛雪。”
二人越谈亲密，情意缠绵，不觉曙色已红。香玉急忙起身，临走说道：“我作了一诗，以酬君作，你不要笑我啊。”于是念道：
良夜更易尽，朝暾已上窗。
愿如梁上燕，栖处自成双。
黄生听说，情不自禁地握住香玉的手腕，说：“你真是秀外惠中，令人爱而忘死啊。想到你匆匆离去，真如千里之别。你有时间一定要来，与我相会。”香玉答应了他，从此，每天夜里必来与黄生相会。黄生多次请香玉邀绛雪同来，但绛雪总不来，黄生颇有怨恨。香玉说：“我姐姐性殊落落，不象我那么情痴。让我慢慢地劝她，你不要着急。”
一天晚上，黄生见香玉含泪而来，哭泣着说：“大祸临头了。今天我就要和你永别了。”说着，以袖试泪。黄生急忙追问究竟，香玉说：“此乃天间，难以给你说明白。”黄生再问，香玉只是呜咽，什么也不说。直到天明，香玉才恋恋不舍地走了。黄生感到非常奇怪。
第二天，即墨县一位姓蓝的人带人来下清宫游玩，见到院中有一株白牡丹，非常喜欢，就向寺里的人索求，于是说把棵白牡丹掘出来移走了。黄生这才悟到，香玉是牡丹仙子，于是非常惆怅惋惜。过了几天，他听说蓝氏把白牡丹移到家中，枯萎了。他伤心至极，作了《哭花》诗五十首，每天都要到牡丹穴处凭吊。
有一天，黄生凭吊方回，回头看见红衣女郎绛雪挥泪穴侧。黄生慢慢地走近她，她也不回避。黄生于是请她到屋里去坐，绛雪答应了。她叹息说：“可怜我们姐妹，一朝断绝！听说你悲不欲性，更增加了我的悲恸。假如亲人的眼泪能堕入九泉之下，也许可使香玉再生的吧。可她已死多日，神气已散，怎么能马上与我们两人共谈话呢？”黄生说：“都怪我命薄，妨害了情人，维道就没有办法了吗？”绛雪说：“我总认为年少书生，十之有九都是爱不专一的；没想到你是这样痴情地爱着香玉。我来此，也是敬慕你这种美德，而不能代替香玉与你共寝眠啊。”说完就要告别而去。黄生说：“香玉长离，使人寝食俱废。如果你能陪伴我一会，也可使我稍微感到宽慰，你怎么如此决绝无情呢？”绛雪只得陪伴他消愁解闷，天明才离开。
从此，好几天，绛雪没有再来。黄生苦怀香玉，辗转床头，泪湿枕席。这一天，冷雨幽窗，黄生更难入眠。他披衣而起，在灯下吟诵：
山院黄昏雨，垂帘坐小窗。
相思人不见，中夜泪双双。
写毕，他忽听窗外有人道：“作诗不能无有唱和。”听话音知道是绛雪来了。开开门让她进来，绛雪看了诗即刻续吟道：
连袂人何处？孤灯照晚窗。
空山人一个，对影自成双。
黄生读了，潸然泪下。黄生坦怨她来的次数太少了。绛雪说：“我不能象香玉妹妹那样给你温暖，只能给你一点宽慰。”黄生说：“那我也就感激不尽了。”
从此，每当寂寞无聊时，绛雪总是前来陪伴他。黄生感慨地说：“香玉我爱妻，绛雪我良友也。”每次都问她：“你是院中第几株？希望你早告诉我，我好小心地移到家中，免得你象香玉一样被恶人夺去，遗恨百年。”绛雪回答说：“故土难移，告诉了你也没有用处。你的妻子尚且不能从终，何况朋友呢？”黄生不听她的，强拉着绛雪的手到院子里，每到一棵牡丹旁就问：“这是你吗？”绛雪不回答，只是掩口而笑。
光阴荏苒，新年到了，黄生要回家过年了。在家里，二月的一天，他忽然梦到绛雪来到他身边，惆怅地说：“我又大难临头了。你如果能急速前来，我们还能想见；迟了就见不到了。”黄醒后十分惊异，急忙命家人备马，星夜赶往下清宫。原来道士将建造房屋，有一棵耐冬树，妨碍建房，工匠们正准备砍伐它。黄生急忙上前阻止，耐冬树总算保存下来。
这天夜里，绛雪来到房中向黄生道谢。黄生笑着说：“以前你不把实情告诉我，才遭此横祸。今天我已知道了你的真实身份，如果你不来我这儿，我就用拿着火绳烤你了。”绛雪说：“我知道你会这样做的，所以才不敢把实情告诉你。”二人相对坐了一会，黄生说：“今日而对良友，更加思念艳妻。好久没有哭香玉了，你能和我一块去哭她一场吗？”绛雪答应，二人一同来到牡丹穴处，洒泪凭吊。直到黎明，绛雪收泪，劝黄生回去。
又过了几天，黄生正房中独坐，绛雪喜笑颜开地从外面进来，说道：“报告给你一个好消息：花神深为你的至情所感动，让香玉再回下清宫了。”黄生忙问：“什么时候？”绛雪答道：“不知道，大约为期不远了。”
接下来，两天没有见到绛雪的面。黄生抱着耐冬树，摇动抚摩，连声呼唤绛雪的名字，但一点回声也没有。黄生无奈，回到屋里，拿起一条用艾拧成的火绳，对灯点上，就转身出去想去烧烤耐冬树。绛雪急速闯来，伸手夺过艾绳，说道：“恶作剧，让我受痛，我与你断交了！”黄生连忙陪笑致歉。这时，只见香玉步态盈盈地走了进来。黄生一见，涕泪交加，急忙上前握住香玉的手。香玉用另一支手握住绛雪，相对悲哽。
等坐下来，黄生握住香玉的手好象什么也没有抓住，象是自己攥起手一样，不由得惊问：“这是怎么了？”香玉泫然回答：“以前我是花神，是有实体的；如今，我为花鬼，形体已散了。今天虽然相聚，你只当做是梦中相会吧。”绛雪说道：“妹妹，你来了可太好了。我被你这一口子纠缠死了。”于飘然而去。
香玉和黄生相对而坐。香玉款笑如前，但依偎之间，总感到好象是以身就影，黄生悒悒不乐。香玉更是前俯后仰地悲叹。香玉说：“崂山上有一种白蔹草，你挖 来晒干碾碎，再稍掺些硫磺，浸泡水中，每天到我的穴处浇洒一次，明天此日我一定会报答你的恩情的。”说罢就走了。
自此，黄生按香玉说的去做了。不久，泥土中很快萌生出一丛牡丹来。黄生于是更加爱护，又在花棵周围作了栏杆加以保护。香玉来到黄生屋里，感激倍至。黄生告诉她要将牡丹移到家里去，香玉拒绝了，她说：“我体质虚弱，经不起司伐之苦。况且万物生长各有一定的地方，我本不是生在你家，如果硬要违犯，反而遭不幸。只要你我真诚相爱，相聚的日子不会太久了。”
说话间，黄生又埋怨绛雪不来。香玉说“如果你一定要她来，我能办到。”于是她和黄生挑打到树下，香玉折了一根草茎作尺码，自下而上丈量到四尺六寸的地方，按在那里，让黄生用两手搔挠。不一会，绛雪就从背后出来了，笑骂说：“你们两个太不够朋友了。”香玉说：姐姐不要责怪，我这郎君太寂寞了，你就暂时陪陪他吧，一年后就不会烦扰你了。”绛雪只好答应。
在黄生的精心护理下，那棵牡丹一天天繁茂起来，春末牡丹已长到二尺多高。他回洛阳时，把金银留给道士，嘱咐他精心培养。第二年四月到下清宫，花一朵含苞还未放，不久，花就开了，花大如盘。黄俯身细细观察，花蕊之中俨然有一个小小的美人，才三四指大小，转眼之间，飘然欲下，原来就是他朝思暮想的香玉。香玉笑道：“我忍受着阴风苦雨等待着你，你怎么到今天才来啊？”说完，裙袖飘扬，已站在黄生面前。二人惊喜交加，诉说衷肠。忽然背后传来绛雪的声音：“你们今日团聚，我这个朋友，总算尽到责任。”三人一同谈笑，到很晚，绛雪才离去。
从此，黄生和香玉相亲相爱，生活得非常幸福。有一次，黄生指着那株牡丹说：“等我死后，我一定变做一棵花木，寄魂于此。”香玉和绛雪说：“希望你不要忘了你的话。”
后十多年，黄生忽然病倒。他的亲人闻讯而来，非常悲哀。黄生笑说：“这不我的死期，而是我的生期，有什么可悲的呢？”又对道士说：“他日若见牡丹下有赤色的花芽生出来，又是一放五叶的，那就是我。”说罢，再不起不来了，黄生离开了人间。
第二年，果然牡丹花下有花芽生出，而且叶子恰好是五个。道士非常惊异，更加用心浇灌它。三年后，高达几尺，花翠挺秀，但始终不见开花。老道士死后，他的子弟不知爱惜，又见它始终不开花，于是把它砍掉了。没想到，那株白牡丹很快就枯萎而死，那株耐冬树木也相继死去了。