Hilly Kristal si po dvojitém bankrotu půjčil v roce 1973 peníze a koupil v New Yorku podnik Palace Bar. Vždycky si přál dát příležitost živé hudbě, hlavně country, bluegrassu a blues. Odtud pochází nový název klubu: CBGB... Country, bluegrass a blues - tyto tři hudební žánry daly název uznávanému newyorskému klubu CBGB, který se díky svému majiteli Hilly Kristalovi stal kolébkou undergroundového rokenrolu a punku. Protože v jeho klubu na Bowery nechtěly country kapely vystupovat, rozhodl se dát příležitost i jiným formám rocku. V jeho podniku mohly hudební skupiny vystupovat pod jedinou podmínkou – musely hrát jen vlastní tvorbu. Žádné pecky z hitparád, žádné předělávky. Jeho krédem bylo podporovat umělce za každou cenu. Hilly Kristal se tak proslavil a je právem označován za kmotra punku, který stál u zrodu kapel jako Blondie, Television, Ramones, Talking Heads, Dead Boys nebo The Police.