En el año 1804 en la esquina de Rivadavia y Emilio Mitre, se abrió una pulpería perteneciente al vecino Nicolás Vila, en su techo se encontraba la única y típica veleta del barrio con la silueta de un caballito. A ella el barrio debe su nombre, esta era una zona de hermosas quintas muchas de ellas para vivienda permanente y otras utilizadas para fin de semana por los porteños, las mismas se veían a lo largo de la actual Rivadavia, era una zona tranquila, con mucho verde. Una de sus famosas quintas fue la de Ambrosio Plácido Lezica, a partir de la cual en el año 1928 nace el hoy llamado parque Rivadavia.
La llegada del tranvía y luego la del subterráneo como en muchos otros barrios de Buenos Aires, contribuyeron favorablemente en sus principios para impulsar un gran desarrollo habitacional y comercial en la zona.