始宁庄园基本格局早已形成：自北而南沿曹娥江傍山依水而进，占有大片田园山泽。谢灵运在继承祖业基础上又扩大了始宁庄园，增加了不少建筑物。《山居赋》及谢本人的诗篇中对此有具体描述。但由于千年来地貌变迁，江流移动，加上当时地名指称不明确。今天要完全搞清楚庄园范围和建筑布局已很困难。现根据顾绍柏先生研究心得和实地考察作一简介：
　　始宁庄园范围大体上北起今上虞上浦东山，当时又名旧山、北山，南达嵊县崤浦仙岩一带，南北绵延约40里，中有曹娥江剡溪(当时也称浦阳江)流贯，两岸河谷地带有一片积水沼泽区，中间分布着汀洲小丘。系太康湖堙废后形成，当时又名大小巫湖。嵊山在江东，嚼山在江西，两山相距不远，当时又泛称南山盖与北山相时而言。庄园东西距离宽狭不一，约10～20里。谢灵运归隐期问新增加建筑物主要以下数处：
　　始宁别业：即谢灵运别墅，在谢安故居东山之西一里，即西庄。景平二年(424)，灵运回乡隐居时，修营别业，尽幽居之美，纵山水之乐，屏尘世之忧，即指此。 石壁精舍：在石壁山，为东山之一峰，立精舍接待四方过往僧人，昙隆、法流二法师来东山即居此。谢作有《石壁立招提精舍诗》。
　　田南园林：在东山旧居以南，确址难考，有诗《田南树园激流植援》，写庄园向南发展，其事当在筑石壁精舍后，建南山新居前。南山新居：在今嵊州城区西北崞山，石门山一带，系灵运新增卜居之地。诗中多次提到“石门新居…南楼”应包含在南山新居范围内。
　　经营始宁庄园主要在第一次回乡隐居期问。他确实是想认真做一辈子隐士的。谢经历二十年左右坎坷的仕途生活后，年近四十回乡隐居，前尘影事，颇似噩梦。他是带着失败的伤痕从政治斗争的漩涡中走出来的，加上他的本性和当时的文化氛围，使他深悟“准丘园是归宿，唯隐中有乐趣15的道理；始宁也确实可算是他理想的安身之命之处。这个时期他踏遍了始宁的山山水水，结交的是隐者、道士、僧人；“见柱下之经，睹濠上之篇”，更坚定他皈依佛道、超脱尘世、远离政治的人生信念。谢的退隐确与“身在江湖，心存魏阙”者不同。他所增加的筑构大都较简陋，”云初经略，躬自履行，备诸苦辛也。罄其浅短，无假于龟筮，贫者既不以丽为美，所以即安茅茨而已。是以谢效郭而殊城傍。然清虚寂寞，实是得道之所也。这与谢玄在车骑山筑桐亭楼气魄就很不一样了。