黑龙江省图书馆始建于1906年(清光绪三十二年),前身为黑龙江将军署学务处在齐齐哈尔市创办的图书馆。1954年原黑龙江省与原松江省合并为新的黑龙江省,省会由原来的齐齐哈尔市改设在哈尔滨市,原黑龙江省图书馆便更名为齐齐哈尔市图书馆。
2013年5月,国务院(国发[2013]13号)公布黑龙江省图书馆旧址为全国重点文物保护单位。