十五岁至二十一岁(晋隆安三年至晋义熙元年，399～405)，由钱塘移京都建康乌衣巷，与王谢子弟共乌衣之游，文义相赏，度过他一段世家子弟富贵风流的生活。
　　二十一岁起入仕途，历任晋、宋两代琅琊王司马参军、刘毅记室参军、秘书丞、中书侍郎、黄门侍郎、永嘉太守、秘书监、临川内史等。中间两次还乡隐居。
　　始宁始终是谢灵运真正的故乡，是他一生向往和皈依之地。这里有他引为自豪的功熏卓著的祖旧之业，更有供他啸傲风月、陶然忘机的灵秀山川，还有足资养生的良田美池，丰厚产业。这是一片令他深深眷恋、时时怀念的土地。这里的人民对他也怀有同样深情，千百年来，地方志书记载其行迹和诗文，民间更广泛流传着他那脍炙人口的轶事。
　　谢灵运诞生后即离乡，后来两次回乡。第一次返回故乡已经卅八岁。宋永初三年(422)五月，宋文帝刘裕卒，太子刘义符即位，是为少帝。谢灵运等受到当朝权臣徐羡之、傅亮等排挤，离京出守永嘉。同年七月，离京往永嘉途中曾枉道回始宁小住。七月廿日抵始宁，逗留数天，即折回钱塘，经富春、桐庐、七里濑，再折回南至东阳郡长山(今金华市)，然后陆行抵青田溪，再乘船至永嘉，已是八月十二日。他的行踪有本人诗作可证。这次枉道而行说明当时会稽与临海两郡之间陆路难通。这次回乡，时间很短，不能说是隐居。
　　景平元年(423)秋至元嘉三年(426)秋是第二次回乡隐居，长达三年。谢灵运赴永嘉任太守仅一年，“出守既不得志，遂肆意游遨，遍历诸县，动逾旬朔，民间听讼，不复关怀。所至辄哟诗咏，以致其意焉。在郡一周，称疾去职。”去职获准，买舟北上，欣然返回始宁。《归途赋》云：“践寒暑以推换，眷桑梓以缅邈，褫簪带于穷城，返巾褐于空谷。果归期于愿言，获素于思乐。”实际上比他自己所预期的“挥手告乡曲，三载期归旋”(《过始宁墅》诗)是大大提前了。隐居期间，“修营别业，傍山带江，尽幽居之美，与隐士王弘之、孔淳之等放纵为娱，有终焉之志，作《山居赋》自注以言其事。“这期间创作诗文颇丰，今存有《会吟行》、《田南树园激流植援》、《石壁立招提精舍》、《石壁精舍还湖中作》、《南楼中望所迟客》、《石门新营所住四面迥溪石濑茂林修竹》、《述祖德诗》等诗篇。文章以阐述佛道思想为多，有《与庐陵王义真笺》、《和范先禄祗洹像赞三首》、《和从弟惠连无量寿颂》、《维摩诘经》中十譬八首，《伤己赋》、《逸民赋》、《昙隆法师徕》等”。从作品中反映，他的隐居生活安闲自适，投入颇深。