Ernesto Lourenço S. Azevedo possuía um bazar de artesanato no Largo do Infante, que se dedicava ao comércio de produtos locais. Lá vendia bordados, rendas, chapéus e cestos de palha, flores de penas, trabalhos de crivo e muitos outros artigos do artesanato local. E foi com esses produtos que, em 1888, participou na Exposição Industrial de Lisboa, tendo obtido, pela sua qualidade e diversidade, a respectiva medalha de ouro e diploma.

A mudança do século levou Ernesto Azevedo para a Rua Tenente Valadim, adquirindo um dos edifícios que hoje está incluído naquilo que hoje é o "Peter". Chamando-lhe "Azorean House", mantendo o comércio de artesanato mas passando também a vender bebidas, este novo estabelecimento permitia ao seu proprietário a enorme vantagem de estar mais próximo do porto e, por isso, de todo o movimento que ele gerava como único local de entrada e saída de bens e pessoas da ilha.

Lá vendia bordados, rendas, chapéus e cestos de palha, flores de penas, trabalhos de crivo e muitos outros artigos do artesanato local." in "ÀS LAPAS: Contos e Narrativas Faialenses”, Horta, 1988 Em 1918 Henrique Azevedo, filho de Ernesto, transfere a Azorean House para o edifício vizinho do lado norte, mantém o mesmo ramo de negócio e muda-lhe o nome para "Café Sport", consagrando assim, no nome do Café a sua paixão pelo desporto, pois era praticante habitual de futebol, remo e bilhar.

Foi Henrique Azevedo a lançar algumas das grandes características que ainda no presente tipificam o "Peter": a escolha do mobiliário (ainda hoje é utilizado mobiliário do mesmo tipo), a águia como símbolo e o "gin tónico" como bebida muito apreciada.

No final dos anos 30, José Azevedo, filho de Henrique, começou a ajudar no Café Sport enquanto trabalhava também no navio inglês HMS Lusitania II da Marinha Real Britânica. Este navio estava ancorado na Horta desde 1939, depois de ter sido atingido por uma bomba de profundidade.

Durante o seu período de trabalho no HMS Lusitania II, José desenvolveu fortes laços com a tripulação do navio, ao ponto de um dos oficiais, devido às semelhanças entre o seu filho e José, com saudades do filho e como forma de mitigar a sua saudade de casa, lhe ter perguntado se não se importava de ser chamado "Peter". O nome “pegou”. Até o açoriano local começou a chamá-lo pelo seu novo apelido e, para o resto da sua vida, José Azevedo tornou-se "Peter".

Em 1944, com o início da guerra, Peter acabou por abandonar o seu posto no Lusitânia II, começando a trabalhar a tempo inteiro no Café Sport para ajudar o seu pai, Henrique Azevedo, devido ao grande afluxo de navios que chegavam à Horta durante este período. Náufragos, feridos e doentes, pessoas à procura de abrigo, outros necessitados de reabastecer e reparar as suas embarcações, outros simplesmente para descansar durante alguns dias.

Foi neste contexto que o "Café Sport" se tornou um ponto de referência para todos os que passaram pela Horta, prestando ajuda amigável a todos os que dela necessitavam, independentemente do assunto, técnico ou humano, para todas as nacionalidades, credos e raças.

Passados poucos anos, a guerra tinha terminado e a maioria das pessoas trazidas por ela para o Faial já tinham desaparecido. No final dos anos 50, um novo tipo de visitantes começou a chegar ao Faial: barcos à vela de recreio... e assim começou, os laços criados com estes aventureiros, que deixaram tudo atrás de um sonho, tornaram-se a razão por detrás do "Café Sport" - o atual reconhecimento mundial entre viajantes e iatistas.

Em 1975, o "Café Sport" havia mudado para o edifício anexo, do lado norte, no âmbito de um acordo comercial com uma empresa da Região. Foi nestas novas e maiores instalações que se mudaram alguns aspectos do Café. Assim, a águia que estava no exterior como símbolo, passa para o interior para a parte superior e sobranceira ao balcão.

No exterior, a simbolizar o Café, passa a estar uma baleia esculpida em osso de cachalote, oferecida pelo artesão M .D. Fagundes, que abastecia o estabelecimento daqueles artefactos. Foi também nestas instalações que se começou a expor e pendurar na parede as bandeiras (símbolo dos iates ou do clube a que pertencem) que iam sendo oferecidas a José Azevedo.

O ano de 1983 encerra as mudanças de instalações. Com a aquisição dos edifícios onde se tinha iniciado o Café, o "Peter" passa para as actuais instalações, com a fisionomia e a localização que hoje apresenta. José Azevedo, mantendo a tradição e a feição familiar do negócio, associa o filho José Henrique Gonçalves Azevedo à gestão do estabelecimento. José Henrique já desde 1967 dedicava as suas férias ao trabalho no Café, recebendo do avô e do pai a herança, a mística e a forma do tratamento pessoal e amistoso que caracterizam o "Peter - Café Sport".

Mas foi só a partir de 1978 que se dedicou a tempo inteiro à empresa e foi, em grande parte, devido ao seu empenho que nasceu, em 1986, após obras de adaptação no piso superior, o "Museu do Peter", visitado por milhares de turistas e que constitui uma verdadeira preciosidade e a "menina dos olhos" dos seus proprietários. Simultaneamente, e coincidindo com a diminuição do fabrico do artesanato em marfim e osso de baleia, foi lançada uma nova linha de souvenirs, que publicitam o "Peter" e divulgam a sua nova imagem: uma baleia.