抗日战争时期，杨得志率领八路军部队，转战敌后冀鲁豫边区，打击日、伪、顽、反动会道、匪军，坚持抗战，立下了赫赫战功。
刘华清、张震在怀念文章中评价杨得志：“作战勇敢，敢打硬仗、恶仗、苦仗，关键时刻过得硬、顶得住、上得去、拿得下。”
两下冀鲁豫
1938年夏，十八集团军总部命令一一五师三四四旅代旅长杨得志带队东进冀鲁豫地区。9月，杨得志率100多人翻越太行山，穿过平汉路，到达冀鲁豫边区的河南省淇县，与先期到达的一一五师六八九团会合。几天后，根据总部指示，杨得志率部截击由冀南向南逃窜的伪军扈全禄部，歼敌1000多人。接着，经过一个多月的作战，基本上肃清了平汉路以东、漳河以南、卫河两岸近百里内的伪军和顽军部队，开辟了大片根据地。入冬，杨得志率部返回晋东南。
1939年7月至11月，日伪军采用“分进合击”战术，连续对冀鲁豫支队进行了3次大规模“扫荡”，妄图重击这支年轻的八路军队伍。杨得志针对敌人的战术，指挥部队适时跳出合围圈，在敌人侧后频频出击，使敌人的“扫荡”屡屡失败。冀鲁豫支队的蓬勃发展，也引起了当地国民党顽固派的不安。顽固派极力限制支队的行动，特别是定陶县县长姚崇礼，多次向支队进行挑衅。杨得志指挥部队进行反击，一举歼灭定陶顽军500余人，有力地惩罚了顽固派。
战斗间隙，杨得志还对如何开展平原抗日游击战争进行了总结。他认为：一、要进行平原游击战，必须动员和组织民众。只要广大民众投入抗日洪流之中，就能形成平原游击战所依赖的“活的人山”；二、要进行平原游击战，必须执行正确的战术。如：“硬的不打，软的打”，“敌打我，我不打；敌不打我，我打敌”，进行夜战等。杨得志这些创造性的概括，丰富了我军开展平原游击战的经验。
在开展游击战争、建立敌后抗日根据地的过程中，杨得志十分重视群众工作和地方党的工作。支队初到鲁西南时，地方党组织的力量比较薄弱，群众团体还没有发展起来。支队虽与地方党组织没有正式关系，但杨得志还是积极支持帮助地方党组织开展群众工作，并在经济上予以帮助。1939年7月，鲁西南地委成立，各种群众团体也建立起来了，鲁西南抗日游击根据地逐步形成。与此同时，部队也得到了发展，仅一年时间，就发展到了4000多人。
创建冀鲁豫边区抗日根据地
1939年冬，中央军委电示杨得志：冀鲁豫边区战略地位极为重要，要坚持边区抗日游击战争，建立边区抗日根据地。冀鲁豫边区所辖的直南、豫北、鲁西南等地区，处于平汉、陇海两条铁路干线的交会处，虽然地区不大且狭长，却是华北与华中抗日根据地的连接枢纽，也是太行与鲁中两大山岳地带抗日根据地的连接枢纽，战略地位十分重要，不论是日军还是顽军，都志在必得。在此创建根据地，面临着复杂而残酷的斗争。
2月初，石友三部投靠日军，向北反扑冀鲁豫边区的濮阳。杨得志指挥支队对石部发起讨逆战役，5次战斗歼敌2500余人，俘敌800余人，缴获枪支800余支，给石部以沉重打击。
随着反顽击叛斗争的胜利，直南、豫北、鲁西南党组织广泛发动群众，初步实行民主、改善民生，建立抗日民主政权，并在此基础上，于4月17日成立了冀南六县专员公署，4月30日建立了冀鲁豫区党委。
4月23日，黄克诚率领新组建的八路军第二纵队主力由太行来到冀鲁豫边区，与冀鲁豫支队统一整编，杨得志任第二纵队司令员。同时，成立了冀鲁豫军区。至此，包括直南、豫北、鲁西南地区的冀鲁豫边区抗日根据地初步形成。
6月，日军1万多人“扫荡”冀鲁豫边区。杨得志指挥部队打了整整13天，歼灭敌人大批有生力量。不久，黄克诚奉命率第二纵队和由原冀鲁豫支队改编的新二旅到华东加入新四军，冀鲁豫的部队只剩下3个团。由于日寇接连不断的大“扫荡”，各分区的部队都在独立作战，军区能掌握的地方武装很少，要战胜多于八路军几十倍的敌人，困难很大。这时，中央军委来电，征求杨得志等人的意见，是继续留在原地坚持斗争，还是去苏北地区发展根据地。杨得志知道，这是中央体谅他们的困难，但他更知道，开辟冀鲁豫边区这块根据地确实不容易，他不能离开这片洒着烈士鲜血、埋着烈士忠骨的土地。杨得志等向中央发电，决心同冀鲁豫人民一起坚持抗日斗争。
挥师战巨南
1943年，日军春季大“扫荡”后，驻巨南地区（泛指济宁、菏泽以南，包括巨野、菏泽、成武、定陶、金乡、嘉祥、鱼台等县）的伪第二方面军北上。蒋介石为实现其在山东建立反共基地的战略意图，委任李仙洲为第二十八集团军总司令兼苏鲁豫皖边挺进军第一路总指挥，并许给李仙洲山东省主席职位。4月，又委任路可贞为鲁西挺进军总指挥兼金乡、嘉祥、单县、曹县、定陶、成武、巨野、菏泽、郸城、蹼县十县联防办事处主任，拉开了向山东、冀鲁豫边区大举进攻的架势。巨南地区位于苏鲁豫皖四省结合部，首当其冲。
