这时，魏国降人陈吴向萧衍献计建议在淮河边选一窄段，拉河筑坝，以水为兵，淹没寿阳，并呈上一幅明细图。图上标明筑坝点南起凤阳府盱眙县境遇内的浮山（今明光市浮山），北接泗洪山。萧衍采纳了陈吴的建议。一条全长9里，下宽140余丈、上宽50丈、高20丈，先后投入20多万人，历时18个月的拦河筑坝工程于514年10月10日惊天动地地开始了。这就是古今闻名的"浮山堰"。

开始，梁武帝派材官祖恒、水官陈承伯二位将军安排实施。祖、陈二位通过实地察看，都认为淮河这里虽窄，但淮水漂疾汹涌，沿岸沙土松散，难以垒堰，强硬筑堰是劳民伤财之举，且合拢无期，力劝萧衍放弃筑坝计划。梁武帝萧衍一听大怒道："滴水可成墒，锹土可成山，自古有兵来将挡，水来土堰之说，岂有筑不成坝的道理，分明是二位存有异心。"萧衍为表筑坝决心，不让再有人提出反对意见，即令左右卫兵将祖、陈二位捆了斩首示众。杀了祖、陈二将后，再也没有人敢提出反对意见了。萧衍又派手下将领从徐州、扬州一线征集民夫，每20户抽5人，共征集民夫15万多人，加上5万多士兵达20多万人。民夫们不论是酷暑严寒，昼夜不停地挖土垒坝。随着磊坝合拢的接近，河水越来越凶猛。民夫们一倒下泥土，就被汹涌的河水冲出数十丈，一时无法合拢。当时有人献计用铁铸成世大的锅，锅内装土，沉入水底，可挡河水。于是，萧衍派人调集生铁十几万斤，铸成铁锅沉入水中，结果仍无济于事。萧衍急得是睡不能闭目，食不得其味，烦躁不安，常常亲自上担监工，稍有不顺眼的就斩首抛入河中。加上天寒地冻，终日劳累，民夫冻死、饿死、病死的不计其数。这时有两个工匠，是一对孪生兄弟，兄叫大柳相，弟叫小柳相，看这样下去也不是事儿。为保护其他民夫，便主动向萧衍提出要跳入合拢处，钉成"井"字形木桩，迅速填进土石，能使大坝合拢。萧衍派人砍伐树木，开山采石，一切准备妥当，柳氏孪生兄弟挽着臂膀跳入凶猛的河中。只听"咚"的一声巨响，猛如蛟龙的淮河水竟址调转水头向回冲去。岸上众多民夫和士兵趁着空档，将事先准备好的树桩石块、土袋子一齐填向坝口，不一会大坝合拢了。时间正好是梁天监15年（公元516年）4月10日，历时整整18个月。人们为了纪念大柳相、小柳相这对孪生兄弟，在沿坝栽上了许多柳树，并把泗洪沿河的一个镇子叫大柳相，浮山向东沿河的一个村镇子叫小柳相。后来，叫着叫着就被人们叫成了大柳巷、小柳巷了。

浮山堰筑成以后，中上游沿淮数百里一片汪洋。寿阳城被水淹了，但淹的只是一座空城。早在染军筑坝时，魏军守将李崇就逐步将城内居民疏散于山岗。还在峡石山上建造了浮桥，便于人们交通往来。同时在八公山上筑建昌城，以防梁国出兵袭击。

当萧衍听报寿阳已被水淹没，十分高兴。但仅淹了一座空城，魏军并无多大损失，而梁军死伤民夫和士兵近十万余人，劳师动众用去银两50万两，这些情况无人敢报。

徐州刺史张豹子被派护堰，张豹子原来对筑堰就不满，派他镇住浮山堰，人到力未尽，加上淮河汛期，水位暴涨，当年9月堰坝溃决，决堤水犹如猛兽，数丈高的洪峰往前推压，其声如雷，几百里外都能听见，沿淮村庄被冲毁，农田万顷被淹没，近十万人被洪水卷走，灾难巨大。