济南市档案馆成立于1958年12月。1959年11月，济南市档案局成立后，局（馆）合署办公，是市委、市政府履行档案事业行政管理和档案保管保护、开发利用职能的工作机构，为正局级单位，实行一个机构，两块牌子。2018年12月，济南莱芜区划调整，原莱芜市档案馆（局）并入济南市档案局（馆）；2019年1月，机构改革后，济南市档案局（馆）承担的行政职能划归市委办公厅，济南市档案馆为市委直属正局级事业单位。济南市档案馆现内设办公室、组织人事处、档案接收征集处、档案保管处、档案保护处、档案利用开发处、编辑研究处、电子声像档案处、信息技术处、档案业务指导服务处10个处（室）和机关党委，人员编制74名。

济南市档案馆位于济南市市直机关集中办公地点龙奥大厦，建筑面积约1万平方米，其中库房面积4100平方米。档案库房配备了温湿度智能调控、防盗报警、视频监控、电源灯光检测、自动通风换气等管理系统，实现了智能化综合管理。馆舍功能齐全，配置了档案和现行文件查阅、政府信息公开等各类服务用房和服务设施，可充分满足群众查阅、利用各类馆藏信息资源的需求。现有馆藏档案、资料567个全宗218万余卷（件）。

济南市档案馆1996年被评为国家一级档案馆，2005年被评为山东省特级档案馆，2018年被评为全国示范数字档案馆；2011年以来，连年被山东省文明委表彰为省级文明单位。