平型關大捷之後，八路軍第115師師部率第343旅第635團、第686團，轉戰到洪洞、趙城一帶集結休整。當時任第685團政治處民運股長的曾思玉，曾奉師部羅榮桓政委之命帶1個連直插到同蒲鐵路沿線的大谷、祁縣、介休地區，進行小部隊活動，執行宣傳群衆、擴兵、籌款等任務，依靠八路軍的崇高威望再加上他的智慧和才能，得到了新區各階層人民的愛戴與支援。兩個月後，他勝利完成了任務，帶著擴來的300多名新兵(配上了武器)和籌集的3萬余元(黃金、白銀)，回到了第115師師部。

初試鋒芒，取得了豐碩的成果，曾思玉受到了羅榮桓政委的表揚和贊賞，並任命他爲686團政治處主任。這一年他僅25歲。爾後，由團長楊勇、參謀長彭雄率領第686團，在蒲(縣)大(甯)公路沿線捕捉戰機，打擊瘋狂進攻的日軍。先後取得了午城鎮、井溝伏擊戰的勝利，接著又是汾(陽)離(石)公路三戰三捷。在南偏城伏擊日寇戰鬥中，擊斃日軍山口旅團長。當第686團即將隨師部向山東挺進的前夕，他又奉命到第344旅第689團當政委，到了晉東南的長子。這是1939年元旦之後的事。

可是，曾思玉做夢也沒有想到，當年9月初，第18集團軍政治部主任羅瑞卿一個電話把他叫到總部去，對他說:"115師到達山東後，形勢發展很好，根據地和部隊不斷壯大，急需大批幹部。把你調回115師，並由你率領'抗大"1分校的400多名畢業學員赴山東。"並說:"你馬上到壺關縣神郊村找'抗大'1分校周純全校長，接收這批學生。"他愉快地接受了任務，帶上這一批學員，組成了山東營。

雖然也任命了營長盧迪和教導員魏金山，但曾思玉實際上就是這一群徒手學生兵的指揮員。山東營對外稱爲獨立遊擊大隊，而他就是大隊長。這樣一支沒有實戰經驗的徒手學生兵，要從山西出發經過河南、河北到山東去，沿途既要經過國民黨統治的地區，又要通過日僞軍嚴密把守的平漢路、沙河、衛河等幾道封鎖線，欲順利通過並非易事。

然而，奇迹卻真的發生了。這支400多人的隊伍，在曾思玉的帶領下，輾轉迂回，幾經波折，先是通過陵川、草坡一帶的孫殿英、朱懷冰新5軍的區域，親眼看到了"國軍"的驕橫與腐敗;後又轉到林縣萬羊坡、秦家一帶，找到了趙基梅、譚甫仁支隊。原准備由此向東，在安陽、新鄉之間跨過平漢鐵路，不料事不湊巧，正趕上敵人在鐵路沿線"掃蕩"。于是轉向北面，沿著太行山東麓經涉縣，過漳河，爬上峻極關，向東插到沙河，終于在一個初冬的黑夜從沙河、永年之間跨過了敵人深溝加碉堡嚴密封鎖的平漢鐵路。當晚，冀南部隊向日軍進行襲擊以引開敵人的注意，這群學生兵才得以順利通過。當然，這是曾思玉大隊長通過與冀南軍區部隊聯系並了解情況後，才采取的行動。

他們跨過平漢路後，在大平原上行走，很快就進入了魯西平原。這一次小小的"長征"，400 多學生兵，迂回行軍1000多千米，在3個月的時間裏，曆經艱險和困難，一槍未發，一人未減，在友區、敵區、根據地、遊擊區縱橫穿行，終于全部安全到達了第一個落腳點--魯西地區第115師獨立旅駐地。這不能不說是一個很大的勝利。這次曾思玉不僅帶來了400多名朝氣蓬勃的年輕幹部，而且讓每個班從太行山總部背來了10套蘇聯外文局出版的精裝本《聯共(布)黨史》(共200多部)。此書在敵後可以說是一份極珍貴的精神食糧。

這次行動，對這一群從課堂上走出來的學生兵來說，無疑是增加了敵後抗日遊擊戰爭的感性知識。這百多個日日夜夜的行軍，可以說是"抗大"的又一個進修班。學員們親自實踐了行軍、宿營、偵察、警戒，親自接觸了根據地的幹部和群衆。其實，大隊長曾思玉比學生兵大不了幾歲，但他那嚴謹幹練、十分標准的紅軍軍事幹部的機靈、睿智的精神狀態，他那平易近人、淳樸寬厚的風度，處處都給大家樹立了榜樣。

學生兵們覺得不論哪一方面都應該跟他學習，因而對他的命令、指示都樂于接受，樂于執行;而結果又往往證明他的命令和指示是完全正確的。一路行軍，他事先要計劃，要安排路線。路上他始終走在隊伍的前面，隨時觀察了解沿途的情況。他有一匹馬，但沒有見他騎過;他有一個年紀很小卻很能幹的警衛員，但也只不過給他打飯、打水而已。學生兵們都覺得他無時不在自己身邊，十分信賴他。

初冬，魯西平原上晴空萬裏，瀕臨東平湖的岱廟鎮迎來了又一個晴朗溫煦的早晨。獨立旅旅長楊勇，這位年輕的紅軍指揮員，在一座普通農舍裏迎來了曾與他並肩戰鬥過的戰友--曾思玉。

故友重逢，興高采烈，說了別後的思念之情，也談了魯西根據地開創的經過，這裏雖然不十分富庶，比起山區卻又優越性多一些。因此，我們黨和部隊在這裏堅持長期抗日遊擊戰爭的條件已經初步具備，今後要全力以赴地在這個地區生根發芽、開花結果。談話中，楊勇特別向曾思玉介紹說:魯西這一帶是一個古老的戰場。範縣東北有一個村子叫道口，實際上叫馬陵道口，就是戰國時代孫膑大戰龐涓，用誘兵之計使龐涓孤軍深入，最後把他困于大樹下，萬箭齊發使他憤而自殺的那個馬陵道。往東，就是水浒傳故事發生地水泊梁山了。東平湖在夏秋季有方圓數百裏的湖面，沿岸有許多村子都與梁山英雄們的戰鬥故事相關。

例如張青營就是孫二娘開店賣人肉包子的地方，陽谷縣的沙堌堆就是武松打虎的景陽崗，袁口、靳口就是朱貴施號箭的金沙灘，昆山、岱廟就是阮小五、阮小七的家鄉，小吳就是軍師吳用的三家村。此外，西南的濮陽就是呂布打敗曹操的古城。稍往南走，東明、長垣一帶又是有名的曹操、袁紹，官渡之戰的古戰場。南面的菏澤地區，是唐末農民起義領袖黃巢、王仙芝的故鄉。再往東，徐州周圍和我們所處的湖西地區，就是劉邦、項羽、張良、韓信、蕭何等名人、名將崛起的地方。清代農民起義軍王倫的家鄉就在陽谷，他所攻下的臨清州舊城也在邊區西北部。

曾思玉對楊勇、歐陽文、何德全等幾個老戰友的介紹聽得很入神，可是沒有想到楊勇最後說:"老曾啊，我已經發報請示過朱德老總、彭德懷老總和羅主任，他們答應把你留在魯西了。你和我們再作搭檔，並肩戰鬥吧!老夥計，怎麽樣?"不但把他留在魯西，而且把他帶來的400多名"抗大"畢業學員也留下一半。其余的學員由山東營營長盧迪帶著到師部去分配工作。曾思玉是一個黨性、組織紀律性很強的人，他無條件服從組織上的決定;何況，他對楊勇這位英勇善戰的年輕指揮員一向很欽佩，早就希望同他一起戰鬥。從這時起，曾思玉投入了魯西大地抗日戰爭無比壯闊的浪潮之中，奉命擔任魯西軍區政治部主任。

就在這時，蕭華這位第343旅的老政委又率領轉戰于冀魯邊區的挺進縱隊來到了魯西，與魯西獨立旅合編爲第343旅兼魯西軍區，下轄運河支隊和黃河支隊。曾思玉被任命爲運河支隊的政委，轄第4 團、第5 團。這是兩支頗有特色的武裝。第5團是在模範紅5團的基礎上建立起來的老部隊，從山西打到冀魯邊，如今又到了魯西;第4團是以山東泰西人民抗日自衛團爲基礎，發展成爲山東縱隊第6支隊，于1937年舉行武裝起義、夜襲界首車站之後，在泰安、肥城山區組建起來的以知識分子出身的地方黨員和部分紅軍幹部爲骨幹的一支朝氣蓬勃的年輕隊伍。