中国近代石油工业的第一个管理机构是1878年清政府在台湾苗栗设置的矿油局，负责出磺坑油田的钻井采油业务。1907年在陕西成立延长石油官厂，隶属清政府农工商部，1914年北洋政府在北京设立“筹办全国煤油矿事宜处”，统一经营全国的石油事业。1934年南京国民党政府成立资源委员会，下设陕北油矿探勘处，四川石油探勘处，甘肃油矿局。1946年在上海成立中国石油有限公司，隶属于国民党政府经济部。翁文灏任董事长兼总经理。

1949年中华人民共和国成立后，在燃料工业部石油管理总局下设西北石油管理局，东北石油管理局。1953年撤销西北石油管理总局，成立石油钻探局，石油地质局。1955年9月1日成立石油工业部。部机关设地质勘探等13个司，下属单位有3个勘探局、10个炼油厂、4个机械厂、2个工程公司等，职工总数为8万人。当时拥有12个地震队、55个重磁力队、120个钻井队,共有10个油气田，年产原油96.6万吨。1958年以后在东北、华北等地连续发现大庆等油田，石油生产规模迅速扩大。1970年石油工业部与煤炭工业部、化学工业部合并成燃料化学工业部。1975年燃料化学工业部又分为石油化学工业部与煤炭工业部。1978年10月石油工业部从石油化学工业部分出。

目前,石油职工总数达100万人。部机关设有石油勘探、油田开发生产、科学技术、计划、钻井、教育、机械制造等18个司局及石油工程建设公司等。部直属单位有石油勘探开发科学研究院、石油工业部规划设计总院，科技情报研究所等。拥有地球物理勘探队298个,大中型钻井队824个,采油井和注水井3万口,铺设输油输气管道1万公里。已建成大庆、胜利、华北、大港、辽河、吉林、新疆、玉门、长庆、中原、南阳、青海、江汉、江苏、四川等油、气区，投入开发的油气田183个,相应地设立了15个石油管理局（或勘探局、勘探开发公司）以及石油地球物理勘探局，石油管道局，西安石油勘探仪器总厂，宝鸡石油机械厂等大型企业和部直属单位。中国的原油产量自1978年以来连续7年达1亿吨以上，1983年产油1.06亿吨。为适应开发海洋石油的需要，1982年在石油工业部领导下成立了中国海洋石油总公司，全面负责开采海洋石油对外合作业务。