庆阳市人民检察院成立于1950年6月，其前身为庆阳检察分署。1954年9月，全国第一届人民代表大会召开后，根据新颁布的《人民检察院组织法》规定，庆阳检察分署改名为庆阳检察分院。1958年10月平凉、庆阳专区合并后，两个检察分院合并为一，称为平凉地区检察分院。1961年12月，平凉、庆阳分家。1966年文化大革命开始后，庆阳检察分院遭到破坏，1968年机构被撤销，检察工作被迫停止，1978年8月恢复重建。2002年12月，随庆阳撤地设市更名为庆阳市人民检察院，受庆阳市委和甘肃省人民检察院双重领导，内设机构13个，即反贪污贿赂局、反渎职侵权处、职务犯罪预防处、公诉处、侦查监督处、控告申诉检察处、检索检察处、民事行政监察处、检察技术处、法律政策研究室、基建处、政治部、办公室。至2012年7月，庆阳市人民检察院共设办公室、政治部、侦查监督处、公诉处、反贪污贿赂局、反渎职侵权局、监所检察处、民事行政检察处、控告申诉检察处、职务犯罪预防处、检察技术处、法律政策研究室、监察处、行政装备处共14个部门。随着国家司法体制改革的深入推进，至2019年5月，检察机关内设的反贪污贿赂局、反渎职侵权局、职务犯罪预防处部门工作人员和机构转隶至庆阳市监察委员会，机关内设办公室、第一检察部、第二检察部、第三检察部、第四检察部、第五检察部、第六检察部、第七检察部、第八检察部、案件管理办公室、计划财务装备处、检务督察处、检察信息技术处、政治部、机关党委等15个部门。