泇河发源于鲁南山区，源头分东、西两支，汇合后至泇口与薛河、彭河南省流之水合，下汇沂水，至邳州入黄河，黄河夺泗淮之前为泗水支流。
在徐州北旧运河受黄河危害航运不通畅的情况下，想到利用这条河道代替它和黄河。万历三年，傅希挚提出了最初的规划，翁大立说：“治河当视其大势，虑患务求其永图。顷见徐，邳一带，河身垫淤，壅决变徙之患，不在今秋，则在来岁，幸而决于徐、吕之下犹可言也，若决于肖、砀之上，则闸河中断，两洪俱涸矣。幸而决于南岸犹可为也；若决于北岸，则不走张秋，必射丰、沛矣。……今以资河为漕，故强水之性以从吾，虽神禹亦难底绩！惟开创泇河，置黄河于度外，庶为永图耳。……自西北而东南，计长五百余里，比之黄河近八十里。河渠湖塘十居八九，源头活水，脉络贯通，此天之所以资漕也。……若拚十年治河之费以成泇河，泇河既成，黄河无虑壅决矣，茶城无虑填淤矣，二洪无虑艰险矣，运艘无虑漂损矣，洋山之支河可无开，境山之闸座可无建，徐口之洪夫可尽省，家桥之堤工可中辍。今日不赀之费，他日所有省尚有余抵也。”［注：《行水金鉴》卷120，转引《明神宗实录》。］这一规划清楚地说明了开泇河的必要性，充分地论证了它的效益，因此得到多方面的支持，但由于有人认为工期太长及影响黄河的治理，未实施。
万历二十一年(1593年)，大水、济宁、徐州一带泛滥成灾，运河堤岸溃决二百里，洪水壅滞于微山湖一带，运河不得通航。总理河道舒应龙挑挖韩庄中心沟四十里，通彭河水道入泇河以泄各湖积水。这项工程把微山湖一带广大水域与泇河联系起来，这就是韩庄新河，后成为泇运河的一段。
万历二十五年(1597年)，黄河于单县黄垌口决口南徙，徐州洪，吕梁洪以下的黄河段几乎断流，航运无法进行，于是又提起开泇河行运的工程。万历二十八年，总理河道刘东星受命开泇河，他循舒应龙韩庄故道，凿良城、侯迁、台庄及万庄河道。工程完成3/10，刘东星死去。万历三十二年(1604年)，总河侍郎李化龙继舒，刘未完工程，由夏镇南面的李家口，引水合彭河，经韩庄湖口，又合氶、泇、沂诸水东南至邳州直河口，长二百六十余里，避黄河之险三百余里。
泇河开成之后，黄河运道仍未废毁，当时的航运安排是：“每年三月初，则开泇河坝，令粮运官民船，由直河口而进，以便利往。至九月初则塞之。每年九月初，则开吕公坝，入黄河，以便回空与官民船往来，至次年二月中则塞之，半年由泇、半年由黄。”
泇河入黄前的直河与其东的马陵山脉之间是骆马湖。马陵山是鲁南沂蒙山的余脉，山西省坡之水，如沂河、沭河向西的分支诸水皆汇于骆马湖，固此湖水量洪枯变比较大。洪水宜泄出路为黄河，通道有三条，一为董家沟，一为骆马湖口，一为陈沟。与黄河相邻的骆马湖一侧高洼不一，无法行船，到枯水季节败露出水面。寻求改善航道的人在这里谋求办法。遇黄河决口，则波涛汹涌，险情迭生，船只入泇河撞损极多，阻隔严重。天启年间，王家庄磨儿庄处险情尤甚，航运受阻。天启三年(1623年)，漕储参政朱国盛在骆马湖中开通济新河，于直河口北的马颊河口疏淤沙三百三十丈，接泇河。以下疏梳沙，开新河、浚小河，通骆马湖口。以挑河之土筑堤分隔湖水并作纤道。河长五十七里，筑堤八千七百四十七丈，至天启五年(1625年)四月，工程完成。次年，总河侍郎李从心又由骆马湖口运口之下开河十里至陈沟入黄河。循永济新河曲马颊河口入泇河，船行安全，省时省力。此后，这条河多次疏浚完善，效益显著。
