王霸喜好法律,其父曾任颍川郡决曹掾,王霸年轻时亦曾担任过监狱官。常常感叹不愿做小官吏,他父亲觉得他不一般,派他到长安求学。汉兵起事时,光武帝刘秀路过颍阳,王霸带门客见光武帝,说:“将军起义兵,我不自量力,仰慕您的威信品德,愿意在您军中当兵。”光武帝说:“我做梦都想与贤士共成功业,岂有两样!”于是王霸在光武帝的军中当兵,跟随光武帝在昆阳之战中打败王寻、王邑后,回家休息。
更始元年(公元23年),光武帝担任司隶校尉,再次路过颖阳,王霸请示父亲,想跟光武帝走。父亲说:“我老了,过不了军队生活,你去,努力吧!”王霸随光武帝到了洛阳。等光武帝任大司马,任用王霸做功曹令史,跟随光武帝到河北。跟随王霸的几十个门客,渐渐离去。光武帝对王霸说:“颖川人跟着我的都走了,而你独独留下来了。努力!疾风知劲草。”
更始二年(公元24年),王郎起兵,光武帝在蓟,王郎撰写征讨文告悬赏捉拿光武帝。光武帝命令王霸至集市上招募人,准备攻打王郎。集市上的人都大笑,举手嘲弄王霸,王霸惭愧而回。光武帝立即南奔到下曲阳。传闻王郎的追兵跟在后边,随从的人都很恐慌。等到达虖沱河,侦察兵回来报告说河水流淌,没有船只,无法渡河。官吏们十分害怕。光武帝命令王霸前去察看。王霸怕吓着众人,想暂且往前走,到了河边,回来就谎报说:“河面结冰可以过去。”官吏们都很高兴。光武帝笑着说:“侦察兵果然是胡说。”于是往前走。等到河边,河水也结冰了,于是命令王霸保护队伍渡河,还剩几人没过来冰就化了。光武帝对王霸说:“让我的部下安心并得以渡河,是你的功劳。”王霸推辞说:“这是您的恩德,神灵的保佑,即使是周武王的白鱼之兆,也不比这强。”光武帝对部下说:“王霸的权宜之计成就了大事,大概是上天的吉祥之兆。”任用他为军正,封关内侯。到达信都后,发兵攻克邯郸。王霸追杀王郎,缴获他的官印。封王乡侯。
随光武帝平定河北,经常和臧宫、傅俊同一军营,只有王霸善待士兵,对阵亡士兵脱下自己的衣服给他们穿上再装殓,受伤的亲自养护他们。建武元年(公元25年),光武帝即位,因王霸理解士兵爱护士兵,可以独立任职,拜任为偏将军,并且统领臧宫、傅俊的部队,而任臧宫、傅俊为骑都尉。建武二年(公元26年),改封为富波侯。
建武四年(公元28年)秋天,光武帝到谯县,派王霸和捕虏将军马武向东讨伐周建于垂惠。苏茂率五校兵四千多人援救周建,而先派精锐骑兵拦截马武的军粮,马武前往援救。周建从城中出兵夹击马武,马武倚仗王霸的支援,作战不努力,被苏茂、周建打败。马武的部队逃跑时路过王霸的军营,大喊求救。王霸说:“敌兵太强大,我们出兵也会和你们一样失败,你们努力吧。”于是关闭营门固守。部下都劝他。王霸说:“苏茂部队精锐,人数又多,我们军心恐慌,而捕虏将军和我对等,两军不统一,这是要导致失败的原因。现在关门死守,告诉他们不援救,敌人一定会乘胜冒进;捕虏将军见没有救兵,作战自然会倍加努力。这样,等苏茂部队疲劳,我们乘敌人疲惫,才能战胜敌人。”苏茂、周建果然全军出动攻打马武。交战许久后,王霸军中勇士路润等几十人割断头发请求参战。王霸得知士气很盛,才打开军营后门,派精锐骑兵袭击敌人背后。苏茂、周建前后受敌,惊乱败逃,王霸、马武各自回营。不久,苏茂、周建又集合部队前来挑战,王霸死守不出战,正让士兵喝酒作乐。苏茂的箭如雨点般射向营中,射中王霸面前的酒杯,王霸稳坐不动。部下都说:“苏茂昨天已被打败,现在容易打。”王霸说:“不对。苏茂部队从远方来,粮食不够,所以屡次挑战,想要一决胜负。现在关门休兵,就是人们说的不战而屈人之兵,是好上又好的办法。”苏茂、周建不能交战,就领兵回营。这天夜里,周建哥哥的儿子周诵反叛,关闭城门拒绝周建入城,苏茂、周建逃走,周诵率城投降。
建武五年(公元29年)春天,光武帝派太中大夫拿着符节拜任王霸为讨虏将军。建武六年(公元30年),屯垦新安。建武八年(公元32年),屯垦函谷关。攻打荣阳、中牟盗贼,全部攻克。
建武九年(公元33年),王霸和吴汉以及横野大将军王常、建义大将军朱佑、破奸将军侯进等五万多人,攻打卢芳的部将贾览、闵堪于高柳。匈奴派骑兵帮助卢芳,汉军遇雨,战斗没有获胜。吴汉回洛阳,命令朱佑屯守常山,王常屯守涿郡,侯进屯守渔阳。下诏书拜任王霸为上谷太守,率领屯守部队如故,追捕攻打胡人强盗,不限郡界。
建武十年(公元34年),王霸又和吴汉等四位将军六万人从商柳出兵攻打贾览,诏命王霸和渔阳太守陈欣率兵任各军先锋。匈奴左南将军的几千骑兵援救贾览,王霸等人连续作战于平城之下,打败敌人,追出边塞,杀敌几百人。王霸和众将回到雁门关内,和骠骑大将军杜茂合兵攻打卢芳的部将尹由于崞、繁时,没有攻克。
建武十三年(公元37年),增加食邑户数,改封向侯。当时,卢芳和匈奴、乌桓联合,入侵抢劫尤其频繁,边区军民很愁苦。诏书命令王霸率解下刑具的囚犯六千多人,和杜茂修整飞狐道,堆起石头撒上土,筑起亭障,从代城(今河北蔚县东)到平城(今山西大同)三百多里长。王霸总计和匈奴、乌桓大小几十上百次交战,很熟悉边疆军事,多次上书说应和匈奴结亲讲和,又建议运输可以由温水漕运,来省去陆路运输的辛劳,建议都得到实行。后来南单于、乌桓投降,北部边疆没有战事。王霸在上谷任职二十多年。建武三十年(公元54年),改封为淮陵侯。永平二年(公元59年),王霸因重病免官,几个月后去世。
汉朝刘秀:“颍川从我者皆逝,而子独留。努力!疾风知劲草。”
南朝范晔《后汉书》:①“期启燕门,霸冰虖河。”;②“世好文法”;③“霸独善抚士卒,死者脱衣以敛之,伤者躬亲以养之。”
唐朝张仲宣:“汉有二十八将者,上应二十八宿也,或以文雅光国,邓禹有决胜之奇;或以武能威人,吴汉有绥边之略。功论树下,冯异之绩弥彰;冰结河中,王霸之诚尤著。”
宋朝张预《十七史百将传》:“孙子曰:‘能愚士之耳目。’霸诡言冰合而得济。又曰:‘不得已则斗。’霸不救马武而使之力战。又曰:‘屈人之兵而非战。’霸闭营休士而屈茂、建是也。”
清朝郑观应:“古之所谓将才者,曰儒将、曰大将、曰才将、曰战将。英布、王霸、张辽、刘牢之、曹景宗、高敖曹、周德威、扩廓贴木儿等,战将也。”
民国蔡东藩《后汉演义》:“智勇深沈之王霸,能战能守,谈笑却戎。”