然而到了刘宋后期，公元436年，宋文帝刘义隆由于猜疑、诛杀了北府兵最后一位名将檀道济，临死前，檀道济愤怒大喊说：“汝乃自毁万里长城也！”
檀道济死后，北魏君臣立马弹冠相庆说：“道济已死，吴子辈不足复惮。”
檀道济死后，淮河流域的屏障北府兵逐渐瓦解，檀道济死后15年，刘宋元嘉二十七年（450年），北魏大军甚至进攻到了与建康（南京）隔江相对的瓜步，对此，宋文帝刘义隆登上石头城北望感慨地说：“如果檀道济还在，怎么会到这个地步！”
而失去了淮河流域主动权的南朝各国，从此步步进入守势。
南朝梁武帝时期，梁武帝为了夺回淮河重镇寿阳，甚至耗费两年时间在淮河修筑了一道拦河大坝，并于公元516年扒开大坝水淹寿阳城。结果，由于北魏军民提前转移，这次水淹寿阳不仅没有伤害到北魏军，反而使得梁朝好不容易夺回的淮南地区，“缘淮城戍村落十余万口皆漂入海”。由于淮河被人为决堤，使得淮河流域的十多万人被洪水冲走，造成了一出人间惨剧。
