帝国海军实行的是典型的政令分开的管理体制，其行政管理和作战指挥系统各自相对独立。
帝国海军部是帝国海军的最高行政领导机构，部长称“海军大臣”，隶属于帝国国防部，主要负责制定海军和海军陆战队的战略规划、经费预算、政策法令、军官升迁和后勤管理等事务，但是没有作战指挥权。
海军大臣作为文职官员，在国防大臣领导之下，直接负责海军的行政领导。他主要通过其文职执行助理大臣和专业技术助理大臣行使职权。
文职执行助理有：海军部副大臣、四位海军助理大臣和海军法律总顾问。海军助理大臣分别负责帝国海军和海军陆战队的组织编制，舰船的建造与配备，以及人员的组织与训练。专业技术助理大臣为海军参谋大臣、海军陆战队司令以及战时的海岸警备司令。
帝国海军部各直属局是海军部长的参谋和勤务机构，有立法事务局、新闻局、军法局、规划鉴定局、海军监察局、审计局等。海军部包括海军大臣办公厅、海军参谋部、海军陆战队司令部、海军部各直属局，战时还包括海岸警备队司令部。长期以来，帝国海军一直是帝*队中最有力的一个军种，因受外部侵略多来自海上，所以帝国十分重视海军建设，帝国海军也是在体制编制和指挥作战系统方面最具特色的一个军种。
帝国海军参谋部是帝国海军的最高军令军事职能部门（在战时与陆军的陆军参谋部均直属帝国参谋本部，平时各自对本军种负责），平时隶属于海军部，虽然名为海军参谋部，但是它并不直接指挥海军部队作战。海军参谋部平时主要负责海军部队的行政管理、军事训练和制定装备发展计划，战时直属帝国参谋本部，向各联合司令部提供海军作战部队，其海军部队的作战指挥由其所在的联合作战司令部组织实施。
海军参谋大臣为海军上将，是帝国国海军最高军事首长，非战时对海军大臣负责，战时加入帝*事大本营直接对皇帝负责。他在参谋会议和海军大臣领导下负责海军的建设、战备与作战运用。海军参谋大臣的主要助手有副参谋大臣、5名副部长以及海军情报办公室主任、海军气象局长、宪兵次长等。
海军参谋部辖有海军海上系统司令部、海军补给系统司令部、海军设施工程司令部、海军航空系统司令部、海军人事司令部、海军保密大队司令部等专业机构近30个，主官分别由海军中将、海军少将及相应级别的文职官员担任。此外，海军参谋部目前还下辖10个海军一级司令部：太平洋海军司令部、北洋海军司令部、南洋海军司令部、印度洋海军司令部、海军特种作战司令部、军事海运司令部、作战试验与鉴定司令部、海军后备队司令部以及海军陆战队司令部。
海军陆战队司令部是海军陆战队的最高领导机构和行政管理部门，海军陆战队司令是皇帝、国防大臣和海军大臣的军事顾问，也是参谋会议的法定成员。在皇帝和海军大臣的授权、指导和控制下，海军陆战队司令的主要职责为：（1）负责管理海军陆战队司令部，（2）向海军部长提交海军陆战队司令部的发展规划和建议，（3）向部队提供咨询和监督部队发展计划的实施，（4）对海军陆战队人员及组织机构实施监督，（5）完成皇帝、国防大臣或者海军大臣分配的所有军事任务。
海军陆战队司令为海军陆战队上将，下设两名副司令，五名职能副司令，同时下辖若干部、局、处、室。海军陆战队下设七个职能司令部，分别是：北洋陆战队司令部、南洋陆战队司令部、太平洋陆战部队司令部、印度洋陆战队部队司令部、陆战队作战发展司令部、陆战队后勤司令部、陆战队后备队司令部、陆战队募兵司令部，以及陆战队教育与训练司令部。
海岸警备司令部是海岸警备部队的最高行政机构，其职能包括：制定政策、部队建设、战备训练、兵役动员、武器装备研制与采购和后勤保障等，司令为海军上将。平时，海岸警备部队在帝国国防大臣的授权、指导和控制下，负责海岸警备部队的领导与全面管理，战时则归属大本营海军大臣领导。海岸警备部队司令部下设警备参谋部、地区和区司令部。警备参谋部包括警备参谋长、副参谋长、助理司令以及专业机构和直属司令部，下辖执法与防卫作战、人事与训练、海上安保、采购工程等11个处、室。
帝国海军的作战部队具有双重组织体制和指挥隶属关系，在行政上，海军参谋部负责海军部队的后勤、训练和装备保障；战时由帝国大本营指挥全国海军部队，但是在作战原则上，海军部队必须遵循战略计划，由于不同的海军作战部队在地理位置上处于不同司令部的责任区，因此海军依据不同的作战辖区在大本营指挥下可将各舰队编成了若干个联合舰队，进行具体管理与实施行动。
帝国海军参谋部下辖北洋海军司令部和南洋海军司令部、太平洋海军司令部印度洋海军司令部，南北两洋海军司令和太平洋海军司令部司令为海军上将，印度洋海军司令部司令为海军中将。南北两洋海军舰队分别下辖水面舰艇部队司令部、潜艇部队司令部、陆战部队司令部。除潜艇司令部之外，其他舰种司令部对所辖部队无作战指挥权，主要负责所辖部队的行政管理和物资技术保障，实施人员调动、分配、后勤保障及