I Job for a Cowboy si formano nel 2003 con Jonny Davy alla voce, Andrew Arcurio e Ravi Bhadriraju alla chitarra, Chad Staples al basso e Andy Rysdam alla batteria.
Dopo un demo del 2004 i JFAC hanno pubblicato il loro primo EP Doom nel 2005, riscuotendo pareri positivi. All'inizio fu pubblicato dall'etichetta King of the Monster ma dopo poco la band firmò per la Metal Blade Records, loro attuale casa discografica, che ripubblicò l'EP nel 2006 con una bonus track. Subito dopo il cambio di etichetta Andrew Arcurio lasciò la band per essere sostituito da Bobby Thompson.
Elliot Sellers lasciò il gruppo subito dopo aver finito di scrivere l'album di debutto per la Metal Blade, Genesis, pubblicato il 15 maggio 2007. Come sostituto di Sellers fu scelto Jon "The Chran" Rice. Nel giugno 2007 il gruppo partecipa al Download 07 a Donington, Uk. A luglio suonano al Sounds of the Underground 2007 con Chimaira, Shadows Fall, GWAR, Amon Amarth, Darkest Hour, The Acacia Strain, The Devil Wears Prada, Goatwhore, Every Time I Die, Heavy Heavy Low Low, e The Number Twelve Looks Like You. Tra l'ottobre ed il novembre i JFAC sono co-headliner al Radio Rebellion Tour 2007 insieme a Behemoth, Gojira, e Beneath the Massacre. Nel 2008 i JFAC partecipano Gigantour in Nord-America insieme a Megadeth, Children of Bodom, In Flames e High on Fire. Lo stesso anno partecipano al Wacken Open Air e nuovamente al Download Festival. Alla fine di quell'anno il chitarrista Ravi Bhadriraju lascia il gruppo per frequentare medicina e viene sostituito dall'ex chitarrista dei canadesi Despised Icon Al Glassman.
Il 7 luglio 2009 viene pubblicato il secondo album del gruppo, Ruination. Quell'anno i JFAC partecipano al Mayhem Festival.
Nel 2011 la band inizia a lavorare su un nuovo EP. Appena prima di cominciare le registrazioni il bassista Brent Riggs ed il chitarrista Bobby Thompson lasciano il gruppo. I due vengono rimpiazzati da Nick Schendzielos dei Cephalic Carnage e Tony Sannicandro. L'EP dal titolo Gloom è uscito il 7 giugno 2011.
Nel 2012 esce il nuovo disco Demonocracy.
Nel 2013 Jon Rice lascia la band che, in pieno processo creativo, si avvale di un session drummer di lusso come Danny Walker. Il nuovo lavoro, Sun Eater, viene pubblicato l'11 novembre 2014 e mostra un drastico cambio di sonorità che vede la band cimentarsi in strutture più lunghe e progressive.