Zakk Wylde fondò nel 1998 con il batterista Phil Ondich un nuovo gruppo, gli Hell's Kitchen. Dopo pochi show il nome della band fu cambiato in Black Label Society.

Il 28 ottobre 1998 fu pubblicato, prima in Giappone e poi in USA, il primo album della band, intitolato Sonic Brew, pubblicato con la Spitfire Records e John "JD" DeServio come bassista. Il disco presentò sonorità molto più pesanti rispetto ai precedenti lavori di Zakk ed è caratterizzato da atmosfere molto cupe.

Nel 2000 Zakk e Phil tornarono in studio per registrare il secondo album dei Black Label Society, intitolato Stronger than Death. Poco prima di iniziare il tour promozionale, “J.D.” lasciò la band per dedicarsi a nuovi progetti, venendo rimpiazzato da Steve Gibb. Il 6 luglio 2000 a causa di alcuni problemi con Zakk, Phil lasciò la band, venendo sostituito da Craig Nunenmacher. Dal precedente tour, venne registrato un doppio disco live, Alcohol Fueled Brewtality. Nell'estate del 2001 i Black Label Society partecipano all'Ozzfest. Pochi mesi dopo lo show, Steve Gibb lasciò la band e fu rimpiazzato da Mike Inez.

Nel 2002 il gruppo pubblicò il disco 1919 Eternal, dedicato alle vittime della tragedia dell'11 settembre 2001. Per questo album, Zakk riutilizzò i demo scartati da Ozzy cambiandone gli assoli e ri-registrando le parti vocali. Sempre nel 2002, i BLS parteciparono nuovamente all'Ozzfest, presentando durante lo show il loro nuovo bassista, Robert Trujillo. Tra l'autunno e l'inverno 2002, Zakk e Craig registrarono un nuovo album, intitolato The Blessed Hellride, pubblicato il 22 aprile 2003. Il primo singolo del disco fu “Stillborn”, traccia che vide la collaborazione di Ozzy.

Dopo il passaggio di Robert Trujillo ai Metallica, Mike Inez tornò a suonare il basso nel gruppo e pubblicò con gli altri componenti il DVD Boozed Broozed & Broken Bonez: Live with the Detroit Chapter nel 2003. Sempre nel 2003 uscì un nuovo disco, intitolato Hangover Music vol.VI.

L'8 dicembre 2004 un folle uccise Dimebag Darrell durante un concerto all'Alrosa Villa di Columbus, Ohio. La perdita di Dimebag, amico fraterno di Zakk, fece cadere il chitarrista in una profonda depressione. Dedicò a Dimebag, la traccia “In this River”, che aveva comunque scritto prima della sua morte.

L'album fu così pubblicato nel 2005 con il titolo Mafia, anticipato dal singolo Suicide Messiah che salì alla #1 nella classifica delle canzoni richieste alle radio americane, mentre il disco debuttò al #15 della classifica Billboard, vendendo 41,500 copie nella prima settimana. Il tour promozionale fu un incredibile successo e la band fu nuovamente invitata all'Ozzfest. Il 20 settembre James Lomenzo lasciò i BLS, venendo sostituito da John "JD" DeServio. Il 4 ottobre 2005 fu pubblicata con la Spitfire Records la raccolta Kings of Damnation 98-04.

Nel 2006 fu pubblicato il disco Shot to Hell, interamente dedicato alla memoria di Dimebag Darrell.

Il 10 agosto 2010 è stato pubblicato Order of the Black, prodotto dal bassista della band John "JD" DeServio.

Il 1 Gennaio 2014 il chitarrista Dario Lorina (Lizzy Borden) prende il posto di Nick Catanese che aveva abbandonato amichevolmente la band il mese precedente. Il 7 Aprile esce Catacombs of the Black Vatican. Dopo una raccolta e un live, nel 2021 è il momento di "Doom crew inc.".