常大用，河南洛阳人，平生最爱牡丹。他听说曹州牡丹甲天下，心中非常向往，渴望能有机会去一饱眼福。有一次，正好因为有一件事情要到曹州去，常大用非常高兴，多年夙愿可以了却了。
到了曹州，常大用专门找了一官宦人家住下，因为他家有一处在当地很有名气的花园。求得主人的允许，常大用就在花园中住下了。当时正是初春二月，牡丹尚未发芽，常大用只好耐心地住下来。每天在花园中徘徊，仔细地观察牡丹的生长情况，盼望着牡丹能早早日开放。其间常大用写一《怀牡丹》诗百绝，时常吟诵，自得其乐。不多久，牡丹花渐渐地含苞待放了。常大用却是又喜又忧。喜的是，牡丹已是含苞待放了；忧的是，一个多月，他身上的钱也花完了。考虑再三，他还是无法放弃能够看到即将盛列的曹州牡丹的机会，于是，他就把穿不着的衣服典当出去，等待着花期的到来，时常在花园中徘徊流连。
一天早晨，常用又去园中看花，遥见一妙龄女郎和一老妇人正在花园中。他怀疑是此地哪家大户的家里人，没有惊动他们，就回屋去了。到了傍晚，常大用又去园中看花，那女郎还在那里。到了近处，常大用偷偷地端详那位女郎，穿着富丽，天资国色，撩人心动。见了常大用，并不十分躲避，却从容地对他一笑向假山后面躲去了。
常大用被这天仙般的美女弄得目眩神迷，心想：她一定是仙女下凡，人世间怎么会有如此美貌的女子呀！于是，不由自主地向女郎去的方向搜寻过去。绕过假山，没想到，却正好碰到那位老妇人。那女郎 正坐在近处一块石头上，看见他显得很吃惊。那位老妇人连忙用自己的身体遮挡在女郎 面前，厉声呵斥着：“你这狂妄的小子，究竟想干什么？”常大用却跪下说道：“这位女郎一定是仙女下凡！小生冒味了。”老妇人愤怒地训斥他：“简直是胡说八道。破真该叫人把你送到官府时里去，治你的罪！”常大用非常害怕，手足无措。但那女郎却笑了笑，对老妇人说：“我们走吧！”说完，就走了。
常大用无精打采的回到屋里，心里想到，如果女郎回去后把今日之事告诉了她的父兄，一场责骂、污辱恐怕是不可避免了。晚上，一个人躲在空荡荡的屋子里，他后悔自己今日的举动实在是太孟浪了。可又想，刚才那女郎并没有怒容，也许并不把它当成一回事。就这样，常大用既后悔，又害怕，一夜辗转反侧，竟然病了。第二天，幸运的是女郎家并没有人来兴师问罪，心里才稍稍安宁了些。然而，他又不由得想起那女郎的声容笑貌来，由害怕而变为十分的想念。就这样，不过三天，常大用满面憔悴之色，竟成了重病，卧床不起了。
这天晚上，常大用昏昏沉沉地刚一入睡，忽听屋门一响，那老妇人手捧一只药碗进来了。老妇人说：“我家葛巾姑娘，亲自配成这剂毒药给你，快喝下去吧！”常大用十分惊：“我与葛巾姑娘，素无怨仇，为什么竟然要毒死我呢？唉，也罢。既然这药是姑娘亲手调的，与其因她相思而病，不如喝药而死。”说罢，接过药来一饮而尽。那老妇人笑笑，就走了。
奇怪的是，常大用喝下药去，却觉得一股香气沁入肺腑，头脑清爽，好象并不是什么毒药。想着想着，他便酣然睡去。第二天早晨醒来，只见红日满窗。试着起来，大病若无，心中更加坚信那女郎是仙女下凡。他心中默默地祈祷能够再次见到女郎。
这一天，常大用在园中一丛树木之后，迎面遇上那位女郎。见四下里无人，他惊喜地急忙跪在地上。那女郎伸手轻轻地拉他起来。常大用惊喜交集，握住了她那洁白的玉腕，顺势站了起来，只觉得这只手温软面细腻，并闻到她身上散发出一种奇异的香味，常大用觉得全身骨节都酥软了。正想说点什么，那位老妇人忽然来了。那女郎让他藏于假山之后，指着南边说：“晚上你来吧。南面小墙以内有一座四面红窗的屋子，就是我住的地方。我放好了梯子等你。”说完匆匆而去。常大用呆站在那里，满腹怅然，真有些魂飞魄散了。
好容易等到天黑，他搬梯子登上南墙，果然见墙那边有梯子竖在那里。他高兴地下去，果然见有红窗在。到了窗前，听到里面有下棋的声音，悄悄地站在窗下，不敢向前，等了一会，他越墙回去了。
常大用心神不定，从坐立难安，他又第二次来到红窗之下，听到下棋的“嗒嗒”声更密了。他顺窗缝看去，只见那女郎 正与一白衣女郎下棋，那老妇人也在坐，有一个丫环待他们。他只得再次返回来。到他第三次登上墙头，已是三更天了。忽然听到老妇人说：“谁把梯子放这儿了？”招呼丫环把梯子抬走了。他只好怏怏不乐地回来了。
第二天晚上再去，梯子已先预备好了。来到红窗之下，幸好四下无人，急忙推门进去，只见女郎独自坐在那儿若有所思。一见常大用，慌忙站起来，满面羞涩。常大用作揖说：“我自感福薄，从不敢妄想什么，今日你我有如此良机，真是三生有幸啊。”说着，就靠近了女郎。那女郎身材苗条，美丽迷人，连她呼出气儿也象兰草的芬芳。
二人正在亲密地交谈，忽听近有人说话。女郎急忙说：“我妹妹玉版来了。你先藏到我床下去吧。”他只好从命。他刚藏好，一个女子走进来，笑着说：“你这败军之将，今天还敢和我较量吗？我已经沏了好茶，准备与你战一通宵。”女郎以身体困乏为由推辞。玉版再三请求，见不答应，便开玩笑地说：“你这样舍不得离开屋子，难道 姐姐在屋里藏了个男人不成？”女郎见她强意相邀，只得随她去了。
常大用听到脚步声远去，使爬出来。他又气又恨，于是便想在屋里找件东西，也好带回去做个纪念。找来找去，只在床头发现有一个水晶如意，上边系着一条紫巾，芳洁可爱。于是，揣在怀里，越墙回到自己的屋子。
常大用在自己屋里玩赏那水晶如意，衣袖一动，似乎还闻到那女郎的体香，因而更加倾慕女郎。然而想到自己夜闯人家闺房，怕受到刑律制裁，再也不敢前去，但珍藏着如意，希望女郎能够来找。
隔了一天的晚上，女郎果然来了，她笑着说：“我一向认为你是个正人君子，却原来是个贼啊！”常大用高兴地说：“是的，我确实拿了你的东西。但我之所以偷拿了你的如意，是因为想借此取个吉祥之兆，希望咱们的事能够遂心如意啊。”二人越谈越亲密，于是私定了终身。常大用问女郎道：“我认为你是仙女下凡，幸蒙你的垂爱，真是我三生有幸。但唯恐你离我而去，幸福难以长久。”女郎笑着说：“你太多虑了。我不是什么神仙，只是对你太痴情了。此事要严加保密，如让别人知晓，后果不堪设想。”常大用答应了，但始终怀疑她是仙女，一定要她说出她的真实姓名。女郎说道：“既然你认为我 是仙女，又何必知道我的姓名呢？”常大用又问：“那么，那位老妇人又是谁呢？”女郎答道：“她是桑姥 姥 。小时候我常常得到她的照顾，一向把她当长辈相待。”说罢，女郎起身要走，对常大用说：“我那儿人多，你去了多有不便，我有机会来找你吧。那水晶如意是我妹妹玉版的，你还是让我带回去吧。”
从此，每隔三两天两人就会面一次。常大用沉浸在幸福之中，不再想回家的事，但典当衣服的钱又花光了。他准备卖掉骑来的那匹马。此事被女郎知道了，对他说：“你为了我，把钱花光了，再卖掉马，千里迢迢，你怎么回去呢？我于心何忍？我有些积蓄，你拿去用吧。”常大用推辞道：“你对我情深似海，我无以为报。怎么能再用你的积蓄呢？”女郎坚持说：“就算暂时借给你吧。”于拉着他的胳膊，来到一棵桑树下，指着一块石头让他搬开，又从头拔下金钗，往地下刺了几十下，说：“挖吧。”他顺从地用手扒了扒，不一会，地下露出一只瓮口来。女郎探手从瓮里取出银子近五十两，常大用阻挡不住，女郎又从里面拿出十来个元宝。最后，常大用还是只要了一半银子。
不知不觉又过了好几天。这天夜里，女郎对常大用说：“近来咱们的事有些风言风语，长此下去不是好办法，我看咱们还是商量个对策为好。”常大用很害怕：“究竟该怎么办呢？我平生老实谨慎，为了你，我把一切置之度外了。只要能和你在一起，刀山火海，我无所畏惧！你怎么办吧？”女郎见他态度坚决，就决定和他逃到洛阳去，并且让他先骑马回去，自己随后乘车前往。常大用回到家，正准备去迎接女郎，没料想女郎乘车也到了家门。众乡邻听说他娶来一位美貌贤惠的妻子，纷纷前来祝贺，并不知道他们是逃回来的。但常大用心里总感到不大坦然，女郎说：“我们情投意合，心甘情愿，谁也不会干涉我们，你不必怕。”时间一天天过去，常大用也慢慢地放下心来。
常大用有个弟弟，叫常大器，此时十七岁了。女郎见他聪明伶俐，相貌英俊，于是提出让妹妹玉版嫁给他为妻。常大用恐怕他们出逃的事被别人发觉，但女郎说：“不妨事。我已经想好了办法。玉版妹妹与我最好，最相信我，只要派一人前去，她定可前来。”于是，女郎就派桑姥姥乘车前往曹州。几天以后，桑姥姥到了曹州，将要到达花园时，她下了车，让车上停在路上等候，她一个人乘夜深人静进到园中，不一会就把玉版领出来，登上车就往回赶。
女郎计算着马车的时日，估计要来的那天，让常大器穿上结婚盛装，到几十里外去迎接，果然碰到了桑姥姥 和玉版乘坐的车子。于是，常家欢欢喜喜地为大器完成了婚礼。从此，兄弟二人都得了美貌贤惠的妻子，常家的日子越过越火，家境日益富裕起来。
有一天，有几十个贼寇骑马突然闯进常家院中。常大用知道事情不妙，全家登楼躲避。贼寇把楼围起来，气势汹汹。常大用在楼上俯视着众贼寇，问：“咱们有什么仇吗？”贼寇回答说：“没有。但我们今天来，有两件事相求：第一件，听说你们兄弟的两位夫人世间所有，请让咱弟兄们看看；第二件，我们一行五十八人，请给我们每人金子五百两。”此时，楼下堆满了木柴。贼寇威胁，若不答应，就要放火焚楼。常大用答应给他们金子，但他们并不满足，家人非常害怕。女郎与玉版几次想下楼，都被常大用拦住。但她们终于按捺不住，冲下楼来，站在楼梯中间，说：“我姐妹都是天上仙女，暂时来人间生活，难道还怕你们这伙贼寇吗？我想即使送你们万两黄金，你们也不敢要吧！”贼寇们吓得跪拜在地，纷纷说道：“不敢不敢。”女郎和玉版见此情景，正要回楼上，突然一贼寇说：“她们是骗人的，不要上当！”女郎反身站在楼梯上，大声呵斥：“你们想干什么，就早早地说出来，现在还不算太晚。”众贼寇你看看我，我看看你，都不敢说话。姐妹俩从容走上楼上。众贼寇一哄而散。
两年以后，女郎和玉版各生了一个男孩。女郎也渐渐地说出是魏姓，母亲被封为曹国夫人。但常大用很是怀疑，在曹州从未听说过有姓魏的大户，况且大户人家的小姐失踪了，怎么会没人寻找呢？但他又不敢假追问女郎。但常不用一心要解开心中的谜团。他找了个借口再一次来到曹州，到处打听，也没有听说魏姓的大户。于是，他仍旧来到上次借住的花园里，来到主人的一间正房，忽见墙上有一首题诗，题为《赠曹国夫人》，心中大惊，于是就问花园主人。主人笑着请他去看曹国夫人。原来主人请他看的是一株牡丹，枝繁叶茂，生机勃勃，长得和房檐一样高。常大用问何如此称呼它，主人解释，因为这个品种是曹州第一，所以有人戏称之为“曹国夫人”。常大用又问，这是哪个品种，主人回答说，叫做“葛巾紫”。于是，常大用更加认定，女郎是花妖所变。
常大用回到家中，但不敢当面质问女郎，就把看到的《赠曹国夫人》诗念 给她听。女郎听后骤然变色，冲出屋去把玉版叫来，并且把两个孩子也抱了来，对常大用说：“三年前，我为你的真诚所感动，于是把身心全部交给了你。不想你却百般猜疑，我们怎能白头偕老？”女郎和玉版悲愤之下，双双举起儿子，朝地下扔去，两个孩子随即不见了踪影。常大用惊呆了，葛巾和玉版也象彩云一般飞去了。常大用悔恨不已，一个幸福的家庭化为泡影。
几天以后，两个孩子堕地的地方长出了两株牡丹，一夜之间就长了一尺多高，当年春天就开了花，一株开紫花，一株开白花，花朵大得大盘子，比普通的葛巾和玉版要好看得多。几年以后，就繁衍成一片。后来被人移到其它地方，又不断地产生一些新品种，千姿百态，各呈风采。从此，河南洛阳就成了牡丹最繁盛的地方。