O edifício onde alberga a actual Biblioteca Sir Robert Ho Tung foi construído antes de 1894, sendo originalmente a mansão de Carolina Antónia da Cunha. O edifício mudou várias vezes de proprietários e foi adquirido por Sir Robert Ho Tung em 1918. Após o seu falecimento em 1956, cumprindo-se o seu testamento, a família doou o edifício ao Governo de Macau, bem como o montante de 25.000 dólares de Hong Kong para aquisição de livros chineses a fim de estabelecer uma biblioteca pública chinesa. Assim, o edifício foi designado por Biblioteca Sir Robert Ho Tung.

A 1 de Agosto de 1958, a biblioteca  abriu oficialmente as portas ao público.

Localizado no Centro Histórico de Macau, o edifício foi inscrito na Lista de Património Mundial pela UNESCO em 2005. Em 2006, a nova biblioteca, equipada com uma sala de livros antigos e instalações bibliotecárias modernas, entrou em serviço, proporcionando ao público um espaço de cultura e leitura.