En constituant son immense bibliothèque ainsi que sa photothèque, il se réfère à la mémoire de deux manières : en réunissant livres et images qui conservent la mémoire de la pensée discursive et figurative du passé, mais aussi en concevant la disposition, puis l'architecture de la bibliothèque comme une spatialisation de la mémoire, un moyen mnémotechnique pour retrouver les livres, et comme un mode de pensée.