南朝宋陈郡阳夏(今河南太康)人，小名客儿。晋散骑常侍谢玄孙。晋末袭封康乐公。世称谢康乐。少好学，有盛名，初为晋琅邪王大司马行参军。义熙中，为刘裕相国从事中郎、太子左卫率。坐辄杀门生免官。宋初复起用。自以未参机要，常怀愤慨。少帝时，因非毁朝政，出为永嘉太守。在郡浪游山水，不久称疾去职。移家会稽，营修别业，作《山居赋》并自注。又著《辨宗论》，申道生顿悟之义。元嘉中，召为秘书监，使整理秘阁书，选四部目录六万余卷。寻迁侍中，坐日夜游宴免官。东还，与族弟惠连及何长瑜、荀雍、羊璿之等以文章赏会，时谓“四友”。尝率数百人自始宁南山伐木开道，直至临海。后为临川内史，以谋叛罪徙广州，旋被杀。卓有文才，其诗多写江南风光，创山水诗派。与颜延之齐名，并称“颜谢”。著有《游名山志》及文集，明人辑有《谢康乐集》。
谢灵运