Album With A Buzz... został wyprodukowany wspólnie przez zespół oraz sławnego producenta Flooda, natomiast nagrywany był w Nowym Yorku (w studiu nagraniowym Sear Sound Studios), Londynie (w Assault and Battery Studios i Abbey Road), Reykjaviku (w Alafoss, studiu zespołu oraz w kościele w Reykjaviku), a także w Havanie, na Kubie. Krążek, With A Buzz..., to pierwszy album w karierze grupy, który został stworzony poza granicami Islandii. To także pierwszy album, na którym występuje wokalista Jon Jonsi Thor Birgisson wykonujący jeden utwór po angielsku (reszta utworów jest śpiewana po islandzku).