欲了解謝靈運身世，須從謝家譜系開始。現在能查找到謝家的上代就是謝纘，系陽夏謝氏之祖。謝纘生謝衡，即剡令謝奕之祖父。謝衡也無多少歷史信息記載。只知生有謝裒(裒念 póu，282-346)謝奕之父。謝鯤，謝裒之兄。謝廣，謝裒之弟，字幼臨，任過東晉六部尚書。
    謝裒自幼文筆出眾，在西晉首都洛陽市的瑯琊王司馬睿的王府擔任掾吏(地方官府中**文書的人)。

 當時是中國歷史上“八王之亂，五胡亂華”混亂時期。晉永嘉元年(公元307年)九月，謝裒追隨晉皇室司馬睿，永嘉南渡。司馬睿渡江至建鄴。晉室政治中心，自此逐漸南移江東，史稱“東晉”。
    謝裒與哥哥謝鯤帶領北方的謝氏家族一起南下，被拜參軍。東晉現有版圖，是幾十年前司馬氏征服江東孫吳政權得來的江東地區。晉滅蜀漢后，司馬氏對江東人民始終心懷憂慮。西晉時候，晉武帝就講"東吳地方的人民屢教不改，老是反政府"，不安心當順民，時不時就動亂，簡直是一群**。所以西晉從頭到尾都沒怎么重用江東人才。從武帝時代到晉朝皇室搬家江南不過幾十年，在這期間，江東叛亂不斷，對當權者來說，實在是亂臣賊子。所以說，作為一個沒有民眾基礎、內斗不止的政權，東晉政府能夠立足江東已是萬幸，需要依靠謝氏家族那樣的北方人。
    公元317年三月晉元帝司馬睿在建康即位，建東晉，改元建武。立宗廟社稷于建康。謝裒轉郡尉，開始在軍職。永昌元年(322)升太常卿;次年，擔任吏部尚書、萬壽子("子"是爵位)。既然江東人民靠不住，司馬氏想鞏固政權，就必須重用靠得住的只有一同從中原過來的移民。陳郡就是現在的河南太康，屬于司馬氏中原地區帶入江南而信得過的郡望之一。謝裒引領的陽夏謝氏與瑯琊王氏等成為東晉士族。
    站在江東人民的立場看，司馬氏政權屬于外來政權。司馬氏把政權中心移到江南以后，大批北方士族"空降"南方，從好的一方面來說，促進南方發展，從壞的一方面說，是和南方人搶奪生產、生活資源，再加上司馬氏政權對于南方人的傳統歧視，使雙方對立更加嚴重。
    強權歧視一定引發暴力抗爭。郡望制與政權緊密相連，而且建立在對南人的歧視基礎上，導致東晉戰亂頻發。可靠的郡望是謝氏家族地位上升的基礎。但是由于謝家族父祖名位不高，經過長期經營，到了東晉朝中后期，謝家才慢慢崛起。這一切的關鍵在于謝裒是司馬睿的嫡系，并且追隨他南渡。雖然郡望制從隋唐之后不再存在，但歷史上確實起到穩定外來政權統治的作用。
    謝奕，就是當時東晉太常卿謝裒之長子。早年任剡縣(今浙江嵊州市)縣令。據《世說新語》載：謝奕作剡令，有一老翁犯法，謝以醇酒罰之，乃至過醉，而猶未已。太傅（謝安）時年七、八歲，著青布褲，在兄膝邊坐，諫曰：“阿兄，老翁可念，何可作此！”奕于是改容曰：“阿奴欲放去邪？”遂遣之。謝奕性格粗魯，有一次被王述惹惱，大聲咒罵王述。王述一句都不回應，只是面對著墻壁不理他，過了半天，謝奕離去，王述才重新入座。當時的人因為這事還稱贊王述。
    謝奕卒于豫州刺史官位上。《世說新語.尤悔》記載：有太傅謝安給他兄長謝奕送葬回來，正趕上天晚了，雨又急，趕車的馭手都喝醉了，掌握不住車子。謝安于是從車廂中拿下車柱來捅馭手，聲色俱厲。我以為謝安給他兄長謝奕送葬回來的地方，或在始寧縣(縣治今嵊州市三界鎮)謝家封地上。據《宋書.謝靈運傳》"靈運父祖并葬始寧縣，并有故宅及墅，遂移籍會稽，修營別業。"可見謝氏歷代于此營建修葺，謝衡墓在始寧東山，謝玄、謝瑍之墓葬并在始寧東山。
    謝裒還有其他兒女如下：謝據，謝奕二弟，早卒，妻子太康王韜女王綏，生子謝朗。謝安，謝奕三弟，也就是“東山再起”的主角，東晉重要政治家，官至太保、衛將軍、都督十五州諸軍事。（謝安妻子沛國劉惔之妹劉氏; 長子謝瑤，娶瑯琊王頤之女王氏; 兩個女兒謝氏分別嫁給瑯玡王導孫王珉 和太原王坦之子王國寶）。謝萬，謝奕四弟，東晉名士，官至西中郎將、豫州刺史（謝萬妻子太原王述之女王荃）。謝石，謝奕五弟，東晉衛將軍、尚書令（謝石妻子為瑯琊陽都諸葛恢幼女諸葛文熊）。謝鐵，謝奕六弟，東晉永嘉太守。（謝鐵妻子阮容，字元容，陳留人，乃阮籍、阮咸族人）。

 謝奕子輩：謝寄奴，謝奕長子，早卒。謝探遠，謝奕次子，早卒。謝泉(330-377):或作謝淵，謝奕三子，又名川，字仲度，小字末。頗有文才，官至義興太守，妻子瑯琊王氏，生一子，謝煥。謝攸(335-384):謝奕四子，字叔度，晉孝武帝寧康元年(373年)任博士;后來官至散騎侍郎、主簿、博士散騎郎。配穎川庾女淑;生四女三子:謝令芬、謝令和、謝令范、謝珫、謝令愛、謝玙、謝球。謝靖(338-385):謝奕五子(《晉書·謝尚傳》寫成謝靜)，字季度。擅長寫作。官至散騎常侍、太常卿、常樂縣侯，配穎川庾氏，生二子:謝肅(出繼謝康，過繼給謝尚做孫子)、謝虔(謝靈佑，謝虔之子，繼謝鯤之后)。謝豁(342-385):謝奕六子，又名淡，字安度。官至中護軍將軍，徐州刺史。謝玄，謝奕七子，東晉重要將領，曾領兵在淝水之戰后北伐。官至左將軍，原配為泰山羊氏，繼室為譙國桓氏。（謝玄就是謝靈運的祖父）。謝康:謝奕八子，謝康堂叔謝尚沒有兒子，因此謝奕將謝康過繼給謝尚，承襲咸亭侯，但謝康也很早去世，沒有兒子。謝康的哥哥謝靖將兒子謝肅過繼給謝康，承襲咸亭侯。后過繼給謝尚。謝道韞，謝奕長女，嫁王凝之。（謝道韞系謝靈運的大姑婆）。謝道榮，謝奕次女，嫁范少連。謝道粲，謝奕三女，嫁郗恢。謝道輝，謝奕四女，嫁桓石民。
    謝奕孫子輩：謝攸（謝奕四子）長子謝珫，妻子為陳郡袁劭女袁琬。謝攸次子謝玙，妻河東衛氏。謝攸第三子謝球，妻瑯琊王羲之第三子王渙之女王德光。謝攸長女謝令芬，嫁陳郡袁太(泰)子。謝攸次女謝令和，嫁太原王萬年。謝攸第三女謝令范，嫁潁川陳茂先。謝攸第四女謝令愛，嫁瑯琊王擜(南換旨)之。

 這里,我著重介紹的是謝玄（謝奕第七子）。謝玄(343年-388年)，別稱謝羯、謝獻武、謝車騎，字幼度。謝玄號稱"詩酒風流"。謝玄自幼聰慧，且理解能力強，與堂兄謝朗一同為叔父謝安所器重。謝玄成年后，顯示出了治理國家的才能。早年承父，亦任剡縣令。朝廷幾次征召，他都推辭不受。后來，他與王珣一起被桓溫辟為掾屬，都受到了桓溫的禮遇和器重。轉任征西將軍桓豁的司馬、領南郡相、監北征諸軍事。當時前秦苻堅正是勢力強盛之際，多次侵擾東晉邊境。朝廷于是下令征召能夠抵御外患的良將。謝安任人不避親，推薦了謝玄。朝廷后召謝玄回朝，授其為建武將軍、兗州刺史，領廣陵相，監江北諸軍事。謝玄在任上，廣募頑強勇敢之人，劉牢之與何謙、諸葛侃、高衡、劉軌、田洛及孫無終等人都因為勇敢威武而應選。謝玄授劉牢之為參軍，命他領精銳為前鋒，百戰百勝，號稱"北府兵"，前秦對其頗為畏懼。太元八年(383年)，就是歷史上著名的淝水之戰。苻堅親自率軍駐扎項城，號稱雄兵百萬。晉孝武帝下詔命令謝玄為先鋒，統領徐州、兗州、青州以及揚州之晉陵、幽州之燕國各支軍隊，和謝石、他的從弟輔國將軍謝琰、西中郎將桓伊、龍驤將軍檀玄、建威將軍戴熙、揚武將軍陶隱等抗擊，共有八萬人。謝玄先派遣廣陵相劉牢之率五千人奔襲洛澗，首戰告捷。謝玄很快就殺了苻堅手下的梁成和其弟梁云。敵人的步、騎兵同時崩潰，爭著渡過淮水逃跑。劉牢之派兵追擊，活捉敵將梁他、王顯、梁悌、慕容屈氏等，獲取其**物資。謝玄與謝琰、桓伊等人帶領八千精兵渡過淝水。苻堅中箭，苻融臨陣被殺。苻堅的軍隊潰敗奔逃，自相踐踏，投水而死的不計其數，淝水因而都堵塞不流通。其余人馬拋棄鎧甲連夜逃走，聽到風聲鶴叫，都以為是東晉軍隊已經來到，草行露宿，再加上挨餓受凍，死去的有十分之七八。獲得苻堅的乘駕云母車，加上他的儀服、器械、軍資、珍寶堆積如山，牛馬驢騾駱駝等十萬余頭。孝武帝下詔派殿中將軍慰勞謝玄軍隊，加授謝玄前將軍、假節，但謝玄堅決推辭不接受。朝廷賜其上百萬錢，上千匹彩綢。太元十三年(388年)，謝玄在會稽去世，終年四十六歲。朝廷追贈車騎將軍、開府儀同三司，謚號"獻武"。永初元年六月十四日(420年7月10日)，劉裕代晉稱帝，建立劉宋，當時前朝東晉的封爵中只有王導、謝安、溫嶠、謝玄與陶侃子孫的爵位未被廢除，謝玄的爵位康樂縣公被降封為康樂縣侯，食邑五百戶。嵊州的車騎山，即為紀念車騎將軍謝玄。
    謝玄兒子為謝瑍，一名慶，官至秘書郎，襲爵康樂公。娶王羲之的女兒王孟姜所生之女劉氏為妻，謝瑍早逝。謝瑍兒子即謝靈運，王羲之成了謝靈運的外太公。謝靈運襲爵康樂公，世稱謝康樂是也!
    謝靈運高祖謝裒入藉江南，除謝裒因卒于任上（墓在南京市城南，今天的西善橋一帶），謝家太祖輩謝衡（謝裒之父、謝奕之祖）墓在始寧東山，其曾祖謝奕、祖父謝玄、父謝瑍均歸葬始寧。嵊州是謝家祖墳所在地又有曾祖謝奕、祖父謝玄兩代任剡縣（今嵊州）令。謝氏家族在此處經營數輩，營建始寧墅。而謝靈運又出生在始寧，其親自改藉為“會稽”，確屬名至實歸。照祖藉算，謝家在嵊州始寧歷四代。謝靈運作為今嵊州人(屬會稽郡)，其真實性是毋用置疑的。舊時王謝堂前燕，早入嵊州百姓家。