A Biblioteca Sir Robert Ho Tung é composta por dois edifícios construídos em épocas separadas por quase um século. Tanto o desenho dos edifícios como o dos jardins destacam a combinação de elementos tradicionais e modernos, naturais e artificiais, evidenciando assim uma fusão entre o antigo e o novo e entre culturas diferentes.
Construído antes de 1894, o edifício original da Biblioteca Sir Robert Ho Tung está rodeado de jardins, perfazendo um quadro de grande beleza e integrando elementos históricos, culturais e arquitectónicos. O edifício abriu ao público em 1958.
Em 2002, o Instituto Cultural, com base nos princípios de conservação de edifícios históricos e de integração e modernização das bibliotecas públicas, decidiu construir um novo edifício no jardim traseiro da Biblioteca Sir Robert Ho Tung, o qual entrou em funcionamento em 2006, após quatro anos de obras de construção.
A configuração dos espaços da Biblioteca Sir Robert Ho Tung não foi alterada após a intervenção de expansão. O jardim continuou a ser o grande destaque, sendo preservadas as plantas e as pedras originais e sendo simplesmente acrescentado um lago e uma fonte artificial no jardim traseiro.