學校始建于1929年3月，先后歷經國立黃河流域水利工程專科學校、黃河水利專科學校、黃河水利學院、黃河水利學校等歷史沿革。1998年3月，改制為黃河水利職業技術學院。2000年3月，學校由水利部劃歸河南省實行省部共建。2004年入選國家建設行業技能型緊缺人才培養培訓工程試點高校。2016年8月，入選第二批國家現代學徒制試點單位。2017年，學院入選河南省國家級優質高等職業院校建設項目。