El grupo gestionó ese mismo año su propio EP y el éxito en su localidad natal fue tan notorio que Giorgio Gomelsky -mánager de Yardbirds- les convenció para que se instalaran en Londres en 1964. Durante un tiempo tocaron en Crawdaddy Club -el local del propio Gomelsky- y allí conocieron al que sería su productor: Mickie Most. Con él firmaron su primer contrato discográfico (que fue con la discográfica EMI a través de su subsidaria Columbia Records) y en febrero de 1964 grabaron su primer single: Baby Let Me Take You Home (una versión de Baby, Let Me Follow You Down de Bob Dylan). La versión llegó al puesto 21º de las listas británicas.
No tardaron en versionar una canción del folk estadounidense, cuyo autor aún es desconocido, y fue ésta la que les lanzó a la fama: The House of the Rising Sun. El estilo de voz de Burdon y la disposición dramática, con riffs inolvidables del órgano de Alan Price, crearon sin duda el primer gran hit del Folk Rock. Hay un debate en curso sobre la inspiración de The Animals para su arreglo de la canción, que ha sido diversamente atribuido a las versiones anteriores de Bob Dylan, el cantante folk Dave Van Ronk, el cantante de blues Josh White (quien lo grabó dos veces en 1944 y 1949), o la cantante y pianista Nina Simone (quien la grabó en 1962 en su álbum Nina at the Village Gate).
