黃山學院前身為始創于1978年的徽州師范專科學校；1997年12月，與原中國科技大學徽州大專班合并，更名為黃山高等專科學校；2000年8月，安徽省人民政府批準黃山林業學校成建制地并入黃山高等專科學校；2002年2月，經教育部批準，升格為黃山學院。2014年，黃山學院獲批建設安徽省高等教育振興計劃地方應用型高水平大學項目、國家卓越農林人才教育培養計劃項目。2019年，學校正式被納入安徽省省級碩士立項建設單位。