Em janeiro de 1980, Peter Buck conheceu Michael Stipe na Wuxtry Records, loja de discos de Athens, na Geórgia, Estados Unidos, onde Buck trabalhava. Após os dois artistas descobrirem gostos semelhantes na música, o R.E.M. começou a nascer deste encontro espontâneo.

Por uma amiga em comum, Stipe e Buck conheceram Bill Berry e Mike Mills, que tocavam juntos desde o colégio. Com isso, os quatro decidiram colaborar em canções, e curiosamente, mais tarde, Stipe revelou que "nunca houve um grande plano por trás de nada disso" e tudo aconteceu muito naturalmente.

Ainda sem nome, o grupo passou os primeiros meses ensaiando em uma Igreja Episcopal em Athens chamada St Mary's Episcopal Church, que na época estava abandonada. Curiosamente, o primeiro show ao vivo enquanto banda também foi no mesmo lugar.

No dia 5 de abril de 1980, na festa de aniversário de uma amiga, o R.E.M., até então formado por Peter Buck, Bill Berry, Mike Mills e Michael Stipe, apresentou-se na St Mary's Episcopal Church com um setlist que mesclou canções originais e covers de músicas dos anos 1960 e 1970.

Um ano após, em abril de 1981, o R.E.M. gravou o primeiro single da carreira, "Radio Free Europe", na Carolina do Norte. Lançada em julho do mesmo ano por uma gravadora independente, a música foi aclamadíssima pela crítica e listada pela The New York Times como uma das melhores daquele ano.