被任命为并州刺史。

公元307年，刘琨进驻并州治所晋阳，在强敌环伺中开始了十余年的“并州晋阳坚守战”。

后世传颂：并州孤忠是刘琨！

公元311年，洛阳沦陷，晋怀帝被俘。

祖逖带领亲邻族人数百南下避难，到达泗口时，被琅琊王司马睿授予徐州刺史，后拜为军谘祭酒，驻守京口。

公元313年，晋愍帝司马邺继位，命司马睿率兵进京勤王，但此时的司马睿醉心于经营江南，毫无北伐之意。

誓要一雪国耻的祖逖上表请愿带兵出征。

司马睿极其慷慨的任命祖逖为奋威将军、豫州刺史。

但是仅调拨一千人的粮饷，三千匹布帛，令其自行招募士兵。

面对态度消极的司马睿，有名无实的祖逖毅然带领宗族百余家，中流击楫、渡江北上！

屯据淮阴、铸造兵器，招募士兵两千余人，为北伐屯田练兵。

公元317年，经过几年的谋划，祖逖率部众开始北伐。

当时黄河以南的兖、豫一带有着大大小小的以坞堡垒为屏障、以乡党宗族为纽带、收编流民、据险自守的民间自保武装力量，各有几百人到几千人不等。

进军中原后，对于坞堡势力，祖逖连拉带打、恩威并施、依次收服。

进驻芦州后，杀张平、据太丘，又在桓宣的协助下，劝降樊雅、攻占谯城，快速在豫州站稳脚跟。

公元318年，司马睿正式称帝，建立东晋，为晋元帝。

同年蓬陂坞主、自称陈留太守的陈川叛降于石勒。

公元319年，祖逖率兵讨伐陈川。

自立后赵的石勒令石虎领兵五万支援陈川，被祖逖击败。

石虎在豫州大肆劫掠一番后，留大将桃豹据守蓬陂坞，其自行带陈川退回襄国。

公元320年，祖逖击溃桃豹，进驻雍丘，随后不断劫击后赵军队的粮道，抢占了黄河以南的大片领土。

同时联络赵固、上官巳、李矩、郭默等当地汉人割据集团，积极调和矛盾，收为己用。

一些坞堡势力应迫于压力降于后赵，遣送子弟入襄国为人质，祖逖则佯装攻打，以消除石勒的疑心。

各堡主感其恩德，纷纷暗中归附，不时将后赵的军情告知祖逖，使得其与后赵的战斗始终能掌握主动，屡破赵军进一步收复黄河以南之地。

在不断收复河南的过程中，祖逖礼贤下士、体恤民情、鼓励生产，收葬无主枯骨、为之祭祀，深得民心。

同年祖逖被任命为镇西将军，声望更浓，石勒对祖逖越发忌惮，意欲修好。

先为祖逖母修墓，后又主动置信请求互市，祖逖麾下牙门童建叛逃后赵，石勒斩之，送其首级与祖逖。

祖逖对石勒的示好予以默认，双方边境短暂的和平也让祖逖有了更多发展的时间。

一番苦心经营下，祖逖的实力日益强盛，并有了进一步收复黄河以北的计划。

然而对祖逖有所忌惮的不止石勒，还有东晋朝廷。

公元321年，晋元帝司马睿任命戴渊为征西将军、都督司兖豫并雍冀六州诸军事、司州刺史，出镇合肥，以此监督节制祖逖。

想当初，无兵无粮无地，空怀报国之志，领部曲仅百余人，北渡长江，收复失地，使黄河以南地区重归晋室，拳拳报国心却得不到朝廷的信任。

加之朝内权臣王敦日渐跋扈，眼看内乱将至，祖逖意识到自己的北伐大业即将终结，以致忧愤成疾，同年于雍丘病逝，终年五十六岁。

祖逖死后豫州士女如丧考妣，百姓为其立祠，晋元帝司马睿追赠车骑将军，并命其胞弟祖约接掌其部众。