1938年12月，奉中央军委、八路军总部命令，第一一五师政委罗荣桓与代师长兼三四三旅旅长陈光率部进入山东。

  1939年3月初，到达鲁西鄄城、郓城。10日，到达泰西东平县夏谢。下旬，赴沂蒙山区沂水县王庄，向山东分局和山东纵队传达党的六届六中全会决议精神，后返回泰西。4月26日，在泰西古城干部会议上，介绍鲁南基本情况和第一一五师任务。5月下旬，第一一五师司令部参谋处长王秉璋、师政治部副主任黄励率领第一一五师司政机关、直属队及冀鲁边第七团（以下简称第七团），经泰（安）泗（水）宁（阳）边，费县西北重镇仲村（今属平邑县）。9月，第一一五师师部及主力第六八六团进入鲁南抱犊崮山区。10月26日，罗荣桓到达鲁南大炉，12月，陈光由泰西来到大炉。

  1940年1月6日，第一一五师召开军队和地方干部联席会议，罗荣桓作了《关于创建抱犊崮山区根据地》的动员报告。2月至3月间，指挥第一一五师三次夺取鲁南战略要冲白彦镇，控制了抱犊崮与天宝山之间的战略要地。3月，争取开明士绅、临郯费峄四县边区联庄会会长万春圃自愿将经营几年的武装改编为八路军临郯费峄边联支队。又派人到国民党第十集团军暂编第六师，说服该师师长孔昭同主动接受八路军建制。5月下旬，罗荣桓率部进入天宝山区。9月中旬，鲁南军政委员会成立，罗荣桓任书记。同月，在桃峪召开了为时三周的高干会议，罗荣桓作了第一一五师在山东工作的总结报告，提出“插、争、挤、打、统、反”的六字方针。提出在部队中开展建设“铁的模范党军”活动。会后，将第一一五师部队统一编成6个教导旅，近7万人。1940年11月8日，率师部转移到鲁中区青驼寺以西的聂家庄。

  1941年3月7日，第一一五师师部与山东分局机关转移到莒南县西许口，进入滨海区。19日，指挥部队发起青口战役。同月，第一一五师军政委员会组建，罗荣桓任书记。4月8日至14日，第一一五师直属队第六次党代会在莒南县后寨子村召开，罗荣桓在会上作了形势报告。7月1日，山东分局和第一一五师在临沭县蛟龙湾村联合召开庆祝中国共产党成立20周年大会。8月19日，组建新的山东军政委员会，罗荣桓任书记。10月2日，罗荣桓率师部到青驼寺，主持山东军政委员会首次会议，研究第一一五师和山东纵队统一指挥和布置秋季反“扫荡”工作。11月初，指挥部队反击日军5万余人对沂蒙山区的“铁壁合围”。12月5日夜，指挥著名的“留田突围”。

  1942年7月到11月，罗荣桓连续发表了《坚持我们的游击战》3篇有关文章，提出一个重要战法叫“翻边战术”（即将军队隐蔽在敌占区的边沿，趁敌人的包围尚未紧缩，“翻”到敌占区去，打乱其部署，粉碎其“扫荡”）。11月，指挥教导第二旅连克敌伪据点16处。

  1943年1月，指挥教导第二旅发起郯城战役。同年3月，中共中央决定成立新的山东军区，罗荣桓任军区司令员兼政委、第一一五师政委兼代师长。6月阻止顽军李仙洲部入鲁反共，7月击溃北犯的李仙洲部，使其率残兵败将退回皖北。7月5日，发起八路军与日伪顽军争夺沂鲁山区和诸日莒山区战役。9月，任中共山东分局书记，从此山东根据地实现了党的一元化领导。11月，罗荣桓部署各军区相互配合，反击日军对鲁中区、滨海区的“扫荡”。11月13日击毙惯匪刘桂堂。同时，指挥滨海军区相继攻克赣榆城及周围11处日军据点。

  1944年，指挥山东八路军发动了春季攻势。鲁中军区部队胜利进行第三次讨伐吴化文战役；鲁南军区部队发起讨伐伪和平建国军第十军荣子恒战役；滨海部队发起讨伐李永平战役。经过近一年的奋战，到1945年初，共歼灭日军4800人，伪军5.4万人，争取1.1万伪军反正；收复县城9座，拔除敌据点1200处。八路军山东军区部队发展到15万人。

  1945年8月10日，日本政府发出乞降照会。11日，山东分局、山东军区在莒南大店召开高级干部会议，罗荣桓根据党中央的指示和八路军总部的命令，将山东一线部队整编。17日，指挥五路大军向敌占区发起大反攻，经过一个多月的作战，解放县城46座，攻克6个重要港口，歼灭日、伪军6万余人。9月19日，中共中央作出“向北发展，向南防御”的战略决策，决定罗荣桓到东北工作。10月24日，罗荣桓告别沂蒙，踏上新的征程。