La famiglia discende da un Vermis, abitante della zona di porta San Zeno e attestato nel 1174. Nei decenni successivi sono citati i filii de Vermo, identificabili con Nicola, Iacobino, Gambarino e, forse, il causidicus Iohannis de Vermo. Il primo esponente di rilievo, cui si deve l'affermazione sociale e politica della famiglia, fu proprio Nicola: esperto di diritto, fu impegnato in varie magistrature comunali uscendo indenne dal periodo ezzeliniano.
A Verona e in altre città ebbero altre importanti cariche (podestà, capitano del popolo, governatore), fino al XIV secolo con Pietro e a partire da Luchino (+ 1367 a Costantinopoli) figlio di Pietro, cominciarono anche l'attività di condottieri al servizio inizialmente dei Visconti e di Venezia. Jacopo (Verona 1350 - + Venezia 1409) figlio di Luchino, signore di Sanguinetto, fu pure dal 1379 al servizio dei Visconti. Cominciò ad acquisire feudi nel territorio di Bobbio (Zavattarello, Rocca d'Olgisio, Trebecco, Romagnese, Ruino, Pianello Val Tidone, Pecorara e Borgonovo Val Tidone), nucleo della futura grande signoria della casata e nel 1387 è nominato dai Visconti vassallo di Bobbio. Suo figlio Luigi (+ 1449), al servizio di Filippo Maria Visconti, conte di Sanguinetto dal 1433, nel 1436 divenne signore di Voghera, Bobbio, Castel San Giovanni e della Valsassina. Il figlio di Luigi, Pietro, fu anch'egli generale dell'esercito milanese sotto gli Sforza, ma nel 1485 fu assassinato, nell'ambito dei torbidi che portarono al potere Ludovico il Moro, il quale, avversario della famiglia per la sua fedeltà ai precedenti Duchi, confiscò tutti i feudi, nonostante le proteste di Taddeo, fratello superstite di Pietro. Non meglio andò sotto i francesi che sostituirono gli Sforza; solo i figli di Taddeo, Marcantonio e Federico, rientrati nelle grazie degli Sforza, ebbero la conferma dei feudi (tranne Castel San Giovanni passato nel frattempo ai Duchi di Parma e Piacenza). Nel 1516 si formò il Marchesato di Bobbio che univa i feudi con le contee di Tortona e le terre della signoria del Malaspina (mandamenti di Varzi, Ottone, Torriglia e Santo Stefano d'Aveto). Nel 1530 i feudi di Bobbio e Voghera furono divisi tra i due fratelli, restando al primo la Contea di Bobbio e al secondo Zavattarello, Ruino, Trebecco, Pietragavina, Lazzarello e, dal 1533, Voghera. Da allora il Castello rimase residenza stabile del casato, specialmente dopo la perdita di Voghera nel 1593. Il maniero fu restaurato tra il 1887 e il 1889, e i discendenti vi risiedettero fin quando, durante la seconda guerra mondiale, Zavattarello diventò campo di battaglia.
Il 23 novembre 1944 il Castello venne danneggiato da un incendio appiccato da truppe tedesche durante un rastrellamento di partigiani, e andarono completamente distrutte tutte le raccolte d’arte, fra cui pregiati mobili italiani del XV e XVI secolo.
Il 23 novembre 1944 il Castello venne danneggiato da un incendio appiccato da truppe tedesche durante un rastrellamento di partigiani, e andarono completamente distrutte tutte le raccolte d’arte, fra cui pregiati mobili italiani del XV e XVI secolo.
