Sparebanken Vestfold ble etablert 1.januar 1982 som en sammenslutning av 14 andre banker (Hedrum, Lardal, Holmestrand og Botne, Hof, Horten, Larvik, Ramnes, Sande, Sandefjord, Sems, Stokke, Svelvik, Tjøme og Tønsberg sparebank). Formålet med sammenslutningen var å etablere en sterkere og mer rasjonell bankenhet for Vestfold. I 1987 ble Våle sparebank tilsluttet Sparebanken Vestfold, og i løpet av 1989 ble også Aasgaardstrand og Omegns sparebank tilsluttet banken. Bankens virksomhet er organisert i lokalbanker med selvstendig resultatansvar, samt filialer som administreres av lokalbankene. Bankens ledelse og fellesfunksjoner er lokalisert i Fellessenteret i Tønsberg, som består av fire seksjoner; finans-, personal- og utvikling-, økonomi- og markedsseksjonen. I 1990 sammensluttet Sparebanken Vestfold seg med Sparebanken ABC, Sparebanken Buskerud, Sparebanken Østfold og Sparebanken Østlandet og ble en del av NOR-gruppen. Det formelle navnet ble endret til Sparebanken NOR. I 1996 endret banken igjen navn da NOR-gruppen og Sparebankgruppen AS ble til SpareBank 1 Alliansen. Det nye navnet ble SpareBank1 Vestfold. I 2008 endret banken igjen navn til SpareBank1 Buskerud-Vestfold.