和影视剧的形象不同，史书里的胡宗宪轻生死，重然诺，有豪侠之气，但也放浪形骸，恣情妓乐，是一个官场。胡宗宪生前最大的业绩是东南抗倭，他历任浙直总督多年，主持抗倭事业，诱降倭寇首领徐海、王直，遏制住了东南倭乱。然而，由于和严嵩、严世蕃、赵文华、罗龙文等严党成员关系紧密，胡宗宪被朝野视作严党，不被清流所欣赏。
胡宗宪贪污的问题历来存在争议，他贪污的数额、用途成为评判其人得失的一个焦点。在关于胡宗宪的种种争论中，“总督银山”问题值得探讨，从这一问题中，我们能看到清流与胡宗宪的冲突，以及胡宗宪贪污问题的复杂原因。
嘉靖三十八年（1559）七月，时任浙直总督胡宗宪遭到科道官罗嘉宾、庞尚鹏弹劾，他们指责胡宗宪“扣侵边饷为常规，有‘总督银山’之号”，“而所侵官帑、敛富人财物亦不赀”。第二年，罗嘉宾、庞尚鹏再度弹劾胡宗宪侵占国帑计三万三千两。到嘉靖四十一年十一月，南京户部给事中陆凤仪又弹劾胡宗宪“欺横贪淫”十大罪状，再次抨击胡宗宪“督府积银如山”，导致胡宗宪被捕，并最终自杀。此后，徐阶主修《世宗实录》，将“总督银山”作为胡宗宪确凿无疑的罪状。
然而，胡宗宪是否如罗嘉宾、庞尚鹏、陆凤仪所说的那样“总督银山”，在明史研究中存在争议。首先，所谓的“胡宗宪侵占国帑计三万三千两”经嘉靖朝御史崔栋查证，事实是：这三万三千两白银分两次从嘉兴府库中提出，一次花银一万余两，用于遣散狼兵，一次花银两万余两，用于抗倭各项事务和抚恤伤亡士卒的家属。胡宗宪没有从中贪污，各项数字在当时有账可查。后来，嘉兴府库要销账，胡宗宪好友白恭出钱两万两白银，胡宗宪自己拿出一万多两白银，把账结清。
当然，明朝官员俸禄低微，胡宗宪能拿出一万多两白银销账，显然是因为他在个人俸禄之外有其他收入。实际上，明代官员在俸禄之外收取其他钱财是普遍现象，在明中后期，它甚至成为中央及地方官员默认的常态。嘉靖中后期，严嵩、严世蕃掌权更是助长了这一风气，凡是不贿赂严嵩父子以示亲近的官员，政治前途都会遭受巨大打击，而只有定期孝敬严嵩父子，官员们才能保住自己的职位。
在这种情况下，不但胡宗宪积极向严嵩父子、赵文华赠送钱财古玩，好让当权者支持他在浙江的工作，地方官员也积极贿赂胡宗宪，借宴请之名行贿赂之实。
胡宗宪接受贿赂确是事实，不但他自己接受贿赂，地方官员也积极贿赂他的家人。在当时，身份显赫的官员及其亲属经过地方，地方官员都会拿出豪华的规格接待，甚至赠送钱财，以示忠顺。胡宗宪是嘉靖中后期的政治明星，孝敬他亲属的官员不在少数，其中，胡家公子更是仰仗父亲的权势，欣然接受地方官贿赂。
时人及后世史家争议的关键点在于：胡宗宪接受贿赂后，对这些金银财宝的处置。像罗嘉宾、庞尚鹏、陆凤仪显然认为：胡宗宪中饱私囊，把大量钱财据为己有，于是才有“总督银山”的现象。但据《明实录》《弇州史料》及时人王畿、徐渭等人的回忆，胡宗宪其实将大量钱财用于抗倭事业上。
史料记载，倭寇毛海峰和他的党羽归顺后，胡宗宪“乞加重赏”；嘉靖三十五年，倭寇徐海围攻桐乡，胡宗宪馈送徐海黄金千两、增绮数十箱，以解桐乡之围；后来，胡宗宪为了为诱降徐海、王直，又花了大量金银财宝，“费百余金”。此外，胡宗宪对部下毫不吝啬。他对戚家军“给饷甚厚” ， 有军功的士兵、幕僚都会得到嘉奖。胡宗宪通过钱粮安抚部下，建立威信，使得部下“愿出死力战守焉”。这些人感恩于胡宗宪，后来，胡宗宪被捕入狱，他们奔走鸣冤。
其实，如果胡宗宪真的为了一己私欲“总督银山”，在追赃的过程中，他的巨额财产理应被公开出来。但事实是，史书记载了严嵩严世蕃父子、赵文华、鄢懋卿的财产或贪墨情况，但却没有披露胡宗宪“总督银山”的证据。在“倒严”是政治正确的嘉靖末年、隆庆初年，被打倒的胡宗宪没有任何权势可言，披露他的贪污腐败情况，不但不会得罪当权者，还能迎合当时的政治风向。因此，如果胡宗宪真是巨贪，佐证他“总督银山”的证据自然会公布，可《明实录》《天水冰山录》《弇州史料》等与此有关的重要史料对此要么含糊其词，要么避而不谈。可见，无论是徐阶还是朝中清流，都没有在调查胡宗宪时得到他们想要的结果。
所以时人王畿认为：胡宗宪“权位重而责愈备，经费浩而迹愈疑，以一人之情擅六、 七省之刑罚而德怨易至于横生”。王世贞也表达了对胡宗宪的同情，他说：“我知道绩溪（胡宗宪）的功劳，可他被华亭（徐阶）所压制，不能表白他的冤屈。”
嘉靖四十三年（1565），胡宗宪因为疑似“伪造上谕”以及陆凤仪弹劾他的“欺横贪淫十大罪”被捕后，在狱中悲愤写下万言辩诬疏，条理明晰地驳斥陆凤仪对他的弹劾，只可惜在倒严的大背景下，卷入党争的胡宗宪注定无法全身而退，而他也因为疑似“伪造上谕”一事，彻底失去了嘉靖皇帝的支持。嘉靖皇帝不想杀功臣，又希望给清流们一个交代，胡宗宪沉浮宦海多年，很快领会上意，在绝望之中，他含恨写下“宝剑埋冤狱，忠魂绕白云”的诗句，在狱中自杀。
胡宗宪的悲剧是党争激化的结果，也与嘉靖中后期尾大不掉的贪腐风气有关。
隆庆六年（1572），胡宗宪沉冤昭雪，并录平倭功勋入国史。至此，关于他的故事告一段落。但大明朝的沉疴弊政，却仍在继续反复，即便有浩浩荡荡的隆万大改革，有高拱、张居正、戚继光等能臣武将的费力维持，沉重的大明朝在短暂中兴后，依然步入黄昏，并最终在十七世纪中叶，结束了它千疮百孔的一生。