В основе группы The Fiery Furnaces стоит дуэт американцев – брата и сестры Мэтта и Элеонор Фридбергер (Matt & Eleanor Friedberger). Талантливые ребята, неразлучные с детства и прекрасно владеющие несколькими музыкальными инструментами (оба поют и грают на гитарах, а Мэтт освоил ещё синтезатор и орган), пять лет назад они решили сделать группу и первое время играли в мелких нью-йоркских клубах. Их спокойная музыкальная жизнь, лишенная массовости и всё нарастающей популярности, продлилась недолго: уже в 2002 году их обнаружил андерграундный британский лейбл «Rough Trade» и сразу же подписал с ними контракт. С этих пор дела группы пошли в гору: в 2004 году к родственному дуэту присоединились барабанщик Энди Ноулс (Andy Knowles) и басист Тоcи Яно (Toshi Yano).
