河南省图书馆是我国建馆的公共图书馆之一。1908年7月6日,河南提学使孔祥霖呈奏抚院请创建“河南图书馆”,7月13日获准。孔祥霖自任(馆长),搜罗大梁、明道书院及学务公所旧藏共计1600种,43000余卷,以开封龙湖南岸二曾祠侧之许公祠为馆址,于1909年2月27(宣统元年农历2月初8日)开馆,定名为“河南图书馆”。1915年,以教育部“图书馆令”改为河南省立图书馆。1928年,奉省政府令改为河南省图书馆。抗日战争期间河南省图书馆迁至南阳、析川等地,1946年迁回开封。1949年3月,河南省图书馆临时归并到中原大学(即河南大学)图书馆,1950年元月,恢复建制,同年10月,改名为“河南省立图书馆”。1953年,又改名为“河南省图书馆”。1957年5月20日,河南省图书馆由开封迁往省会郑州纬二路省人民委员会礼堂。同年10月在优胜北路建设新馆舍,次年7月建成迁入,建筑面积5000余平方米。1985年在嵩山南路与伊河路交叉口西北选址建设新馆,1989年建成并交付使用,新馆总建筑面积2.95万平方米。
河南省图书馆经历了百年风雨沧桑,几多反复,曲折发展。新中国成立后,特别是改革开放以来,河南省图书馆得到了发展,已初步建成为综合性、多功能的现代化图书馆。
河南省图书馆积极开展丰富多彩的读者活动和培训活动。馆内设有17个对外服务窗口,阅览座席1200多个,设有河南省图书馆网站和电子阅览室,年到馆读者达百万人次。还在全省开设30余处外借点,进行图书流通服务。随着远程访问系统的开通,全省各市、县(市、区)图书馆均可共享省馆数字化资源。2002年全国文化信息资源共享工程起步建设,9月建成河南省分中心平台,拥有数字化资源15TB,以IPTV传输、接收模式为主,服务范围覆盖全省4.8万个行政村,形成了基层文化信息资源服务网络。业务窗口实行365天开放。积极开发馆藏资源,先后创办了《港澳台报刊文摘》、《经济文摘》、《决策参考》等二三次文献。邀请国内、省内专家、学者举办“世纪论坛”公益讲座报告会。2011年5月,河南省图书馆将公益讲座制度化,更名为“豫图讲坛”,在每周周日上午定期举办。截止到2013年底,“豫图讲坛”已连续举办153期。多种延伸服务活动深入开展,公共文化服务能力与水平不断提高。
注重自身业务研究和队伍建设,学术成果不断涌现。《河南图书馆学刊》已编辑出版160多期,成为国内图书馆学术交流的重要阵地。从2002年开始,先后编纂出版了“图书馆治学文集”等系列丛书。2009年是河南省图书馆建馆100周年,编纂出版了《河南省图书馆志》、《河南省图书馆百年》、《河南省图书馆同仁文集》、《河南省市、县图书馆古籍善本联合目录》、《河南省图书馆古籍善本书目》、《旧时河南县级图书馆寻踪》、《文献遗产保护技术理论与实践》、《加拿大国家图书档案馆珍藏》等。
截止2013年底,河南省图书馆累计藏书总量达到329多万册(件),其中古籍50万多册。设有借阅部、报刊部、古籍部等10个业务部门,以及综合办公室等5个职能部门。