结仇太守
元嘉五年(428年)，谢灵运称病回到家乡后，游玩喝酒集会赋诗照旧，日以继夜。因此而被御史中丞傅隆所弹劾，被免除了所有官职。回到家乡后，谢灵运和同族兄弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊璿之，因为相互欣赏对方的文章而结好。他们同游山水，当地的人称他们为“四友“。
谢灵运依靠着祖辈、父辈丰富的家底和深厚的人脉，生活富足，奴仆众多，有上百名先人的门生故吏和他往来。他喜好游山陟岭、纵情山水，没少做开山造湖的事情。但凡游山，必定要探寻最为险峻幽深的地方，即便山峦叠嶂、沟壑纵横，也必会游遍每一个他想去的地方，不畏险阻。为了便于走山路，他每次登山都穿上一种前后齿可装卸的木屐，上山时便去掉前面的鞋齿，下山时则去掉后面的鞋齿。这种鞋被后世称为“灵运屐“。
谢灵运大兴劳役，曾经从始宁南山到临海一路伐木开道。时任临海太守王琇闻之，以为是山贼前来偷袭，甚为惊恐，后来得知来的是谢灵运不是山贼才安心。谢灵运邀请王琇随他一同继续游玩，王琇不肯。谢灵运在会稽也有很多人跟从，他总是惊动郡县长官。会稽太守孟顗信仰佛教，诚恳认真，谢灵运很瞧不起他，且对他说:“成仙得道应该是有灵气的文人，你升天一定在我谢灵运之前，成佛一定在我谢灵运之后。“孟顗非常厌恶谢灵运所言。
回踵湖在会稽城东，谢灵运上疏请求将其改做稻田之用，得到批准，下令地方各州郡执行。但孟顗认为，回踵湖距城郭很近，一方水土养一方百姓，改做稻田没能物尽其用，十分可惜，因而坚决不执行朝廷的命令。谢灵运眼看着事情没有向着自己预料的方向发展，转而又要求将始宁县的岯崲湖改做稻田，再次遭到孟顗的抵制。谢灵运认为孟顗的考虑并非以利民为首要，而是只考虑掘开湖泊会杀生，言语间中伤了孟顗，孟顗和谢灵运结下仇恨。
孟顗利用谢灵运性格放荡不羁、对百姓多有侵扰的事，上了一道奏疏说谢灵运想谋反并私自调用本郡军队防守自卫。谢灵运听说此事，飞骑进京上书:“我归家养病至今已三年，平日远离城郭居住，鲜与世人打交道，多呆在偏僻的穷山岩洞之间，几乎中断了和外界的联系。我只想修身养性，平静过完余生。然而，上月二十八日我突然得知会稽太守孟顗上疏弹劾我谋反的不实之语，深感惊异，不知他为何要这样讲，便急忙回到京城面见皇上您并解释清楚。在来的路上，当我经过山阴城时，孟顗全城设防，兵马严阵以待，大街小巷密探遍布。微臣真的不知犯有何罪，竟会被如此防范，现在的我无时无刻不处于恐惧之中。臣下当年曾有幸做过皇上的侍臣，蒙受天恩，如果有确凿证据证明我背叛圣上、大逆不道，我心甘情愿意被判处死刑，以正国法。使普天之下，也不能有我立脚的地方。现在只以谣言作为我的罪证，这是多么残酷啊!自古以来，圣贤们也免不了被诽谤，但是招致诽谤，还是有原因的。或者不怕死亡重视义气，或者结党聚众，或者称雄乡里，或者当剑客侠士，纵横无忌。还从未听说循规蹈矩的人，想去造反谋逆的，隐居的人，打算谋害皇上的。现有人捕风捉影，凭空造谣，从古以来的陷害，没有比这更残酷的。我并不是爱惜自己的生命，只是受不了其中的冤枉。我扪心自问并无什么对不起皇上的事，但是抱着一肚子的冤屈无处申诉。所以带病投奔皇上，请您裁判。我希望皇上鉴定是非曲直，那么即使我死了，也如同活着一样。我现在整天担心害怕，以致老病发作，神情恍恍惚惚，不知怎样陈说。“
充军被杀
皇帝知道谢灵运是被冤枉的，所以没有判他有罪，只是不想让他回会稽，于是让他做了临川内史，且增加俸禄到两千石。谢灵运赴任后仍然如故，和在永嘉太守任上时没有两样，所以再次被有关人员弹劾。司徒派临川王的从事郑望生逮捕谢灵运，谢灵运反而抓住郑望生，起兵叛逃，从而有了叛逆的念头。他写诗说:“韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子。“最后他仍被追上并被逮捕，被送到廷尉那里定罪。廷尉上奏说谢灵运率领部众造反，应处以死刑，皇帝仍然爱惜他的才华，只想免去他的官职而已。彭城王刘义康坚持说不应该饶恕他，于是皇帝下了一道诏书说:“谢灵运罪过深重，确实应该判处死刑。但念他祖父谢玄有功于国家，应该原谅他的子孙，免死充军广州。“
元嘉十年(433年)，秦郡府将宗齐受走到涂口，途径桃墟村，看见有六七个人在下面路上胡乱说话，怀疑不是好人。回来告诉郡县长官，长官派兵随同宗齐受前去抓捕，经过搏斗，把他们全部捉住，投入了监狱。其中有一人叫赵钦，山阴县人，说:“本村人薛道双以前和谢灵运共过事，在去年九月初，薛道双通过本村人成国告诉我说:'先前做临川内史，现在犯法冲军广州的谢某，给我们钱财，叫我们买弓箭刀枪盾牌等武器，让薛道双结交乡里的健儿勇士，在三江口劫救谢某，如果成功的话，大家功劳都一样。'于是集合众人篡取谢某，但没成功。大家回来时很饿，只好沿路打劫。“有关部门以此又上奏按法逮捕谢灵运，皇帝下诏书，命令在广州将谢灵运就地正法，终年四十九岁。谢灵运临死时写诗说:“龚胜无余生，李业有终尽。稽公理既迫，霍生命亦殒。凄凄凌霜叶，惘惘冲风菌。邂逅竟几何，修短非所悯。送心自觉前，斯痛久已忍。恨我君子志，不获岩上泯。“他诗中称述的龚胜、李业，好比前诗中说的子房、鲁连。
文学成就
在山水诗产生与发展的过程中，杨方、李颙、庾阐、殷仲文和谢混等人，都曾有过一定的贡献。但谢灵运却是第一位全力创作山水诗的诗人，其现存诗近百首，其中38首可称得上是较为完整的山水诗。山水诗在晋宋勃然而兴，其功首推谢灵运。
特点
谢灵运山水诗的成就，很大一部分有赖“雕琢“之功。谢灵运山水诗的“雕琢“是对自然的一种细致的拟态，谢灵运又在拟态的过程中，加入自身的主观色彩，使山水景物呈现出源自现实的真实而又不同于现实真实的独特面貌。谢灵运山水诗中“雕琢“的功力，既体现在对细微景物的细致描摹上，又表现为对多种意向的结构组织中，而两者往往结合在一起，合力展现出山水的姿态各异而又变化万端。同时，谢灵运山水诗又呈现出了“自然“的一面。谢诗中体现的“自然“，有双重的含义。一方面，谢灵运山水诗真实地呈现了自然的风貌，这和诗人的“雕琢“之功密不可分。另一方面，谢灵运也有看似不事雕琢脱口而出的句子，真切自然，如“池塘生春草，园柳变鸣禽“等。
“雕琢“和“自然“往往在谢灵运山水诗中杂糅并陈，这是谢诗的双体面:从诗歌的发展来看，谢诗是“自然“的，这一方面反映在其描摹景物的用词，另一方面也表现为其所描摹的景物也是现实的，这既不同于汉大赋夸张藻饰，也不同于玄言诗的概念化写景风格。而“雕琢“，大多集中在谢灵运对具体景物的细部刻画上。
谢灵运重情，在其山水诗中表现得极为充分。从整体上而言，在经历了玄言时代诗歌重“理“而“皆平典，似《道德论》“的过程。谢灵运的山水诗遥接了建安文学的精神，以自身的创作实绩令诗歌重新回归了抒情言志的传统，在其绝大部分山水诗中，也体现了诗人抒情言志的风格。其诗作中的情感，主要表现在以下几个方面:1作为理想的失意者，谢灵运在其诗作中倾诉了“与世不相遇“的悲愤之情。2作为山水的游赏者，谢灵运在其诗作中流露了对自然的赏爱之情。3作为行旅的孤独者，谢灵运在其诗作中抒发了寻求同道的思友之情。4作为求道的思想者，谢灵运在其诗作中表达了悟道后的欣喜之情。
谢灵运的山水诗，开创了中国山水文学的新境界。他在既往文学作品写景经验的积累之上，创造性地将多重艺术表现手法运用在其山水诗的创作中。在他的山水诗中，山水诗充满新鲜感甚至是陌生感的、或幽深或明丽的景观，为读者呈现出如同实景，而又超越实景的诗化的“自然“。同时，由于谢灵运的山水诗以“言志“为旨归，因而，自然山水又是他抒发情感的载体，总是蕴含着作者主观的情绪。由此，形成了谢灵运山水诗独特的自然、人文韵味。
影响
谢灵运及他的山水诗创作在刘宋时期已产生巨大影响，沈约、谢脁等人对其继承与发展促进了山水诗的逐步完善。谢诗语言富丽精工而近自然，追求细致入微的描摹景物，这对后世诗人诗歌语言及写景技巧都有示范作用。谢灵运的山水诗追求骈偶对仗，这一特点一方面直接影响了稍后的齐梁文学，促进永明体的出现，另一方面又间接推动了近体诗的出现，为初盛唐山水诗走向律化起了应有的作用。他的山水诗创作在写景模式与形式技巧方面都影响着初盛唐诗人的诗歌创作。谢诗三段式结构和明暗双线结构为初盛唐诗歌的发展搭建了较高的平台，最终山水诗在唐代达到高度的繁荣，出现山水田园诗派。
佛学成就
谢灵运是晋宋之际重要的佛学家。在当时佛经的传译活动中，谢灵运参加过《大方广佛华严经》、《大般涅盘经》的润改，注释，编有梵汉字典《十四音训叙》，还创作了大量的具有佛禅意蕴的诗赋文章如《石壁立招提精舍》、《和范光禄祗洹像赞》、《维摩经十譬赞》、《净土咏》以及《佛影铭》等。最重要的是，他对于佛学的发展是有理论贡献的，他的《辨宗论》，是倡导和发挥道生的顿悟成佛理论并施影响于后世的关键性论着。对于唐宋禅学，对于宋明理学，《辨宗论》都可以视为来自中古学术的重要渊源之一。
目录学成就
谢灵运在目录编撰方面有很大成就，宋元嘉三年(426年)，谢灵运任秘书监，负责整理现存秘阁书籍，补足旧文。由于社会动荡，战乱频仍，书籍多有散失，遗留异地，谢灵运奉诏着录，四处收访，亲为校理，终于在殷淳等目录学家的协助下撰成《秘阁四部目录》。据阮孝绪《古今书最》称:《秘阁四部目录》着录了一万四千五百八十二卷，佛经四百三十八卷，分为六百四十五帙。比东晋李充所编《晋元帝四部书目》着录更为宏富。
谢灵运是中国古代的旅游家，他将自己的大部分时间花在旅游上。谢灵运的旅游，追求的是精神上的放松和享受，他淡泊名利，只愿实现自己的人生价值，寻求精神上的满足。谢灵运在旅游的过程中创作了大量的山水诗文。他的诗文情景交融，蕴含着一定的道理。例如谢灵运创作的《富春渚》，其在诗文中，描述旅游中见到的奇山异水，优美景色的同时，也将“形于当行，止于当止，人生本位无法超越“这样的人生道理，体现在其诗文中。谢灵运在其山水诗文中，给人呈现出一种美的享受，他将自己旅游中看到的色彩、听到的声音，写进自己的诗文中，给人呈现一种情景交融的场景，给人鲜明、敞亮的感觉和印象。
除此之外，谢灵运的旅游活动，也属于探险生活，他经常选择一些奇险、陡峻的山峰作为自己旅游的目标，而且他还热衷于这种旅游探险，在挑战自己勇气，挑战山水风景时，谢灵运可以获得无穷的乐趣，可以说是古代第一位攀岩运动的先行者。为了探险旅游，谢灵运发明了“'登山鞋“--一双木制的钉鞋，上山取掉前掌的齿钉，下山取掉后掌的齿钉，于是，上山下山分外省力稳当，这就是“谢公屐“。他还在一些陡峭山峰上建造了亭台，便于旅游人士歇息。
谢灵运旅游中创作的山水诗文，流传后世，促进了中国旅游文化的建设和发展，对中国旅游文化的发展有着重要的意义和深远的影响，他为后世留下了宝贵的旅游遗产。谢灵运认为旅游可以养生，可以让人忘记烦恼，摆脱疲惫，在一定程度上可以起到休养生息的作用，所以谢灵运提倡旅游，并在旅游活动中产生了旅游观。他的旅游观让后人进一步的认识旅游，认识旅游的作用和意义。他的旅游活动、旅游山水诗文、旅游观是中国旅游文化的宝贵财富，具有不可替代的意义和深远影响。
谢池曾经告诉过女儿小花，这个谢灵运也算是老谢家的人，他是谢玄的亲孙子，但是不是谢池的亲祖先。他出事后，老谢家为了避祸，把他的名字从家谱中剔除，不过老谢家的一些文献中依然提到了他是老谢家的子孙。后来事情过去之后，老谢家把他的名字加回了族谱之内。