Emma recrea su desdichada niñez mediante 23 cartas enviadas al amigo e historiador Germán Arciniegas. Lo hace con una prosa sin voluntad de estilo, áspera y sincera, que elude la autocompasión y el juicio moral. Aunque no hay propósito estético, cada página desprende una helada y escabrosa belleza. Emma vive en una atmósfera de pesadilla, pero siempre encuentra una vía de escape. En ocasiones es suficiente contemplar un viejo patio, con unas macetas de flores, o escuchar una música lejana. Emma y su hermana viven como dos reclusas, pero su aislamiento, lejos de matar su sensibilidad, exaspera sus sentidos, transformando cualquier nimiedad en un prodigio estético.
Germán Arciniegas le enseñó las cartas a Gabriel García Márquez, que advirtió de inmediato el valor literario y humano de los textos. Conmocionado y admirado, animó a Emma a no interrumpir la correspondencia y a publicarla cuando lo estimara oportuno. El intercambio epistolar se había iniciado en 1969 y se prolongaría hasta 1997. Emma murió en Burdeos en 2003 y en 2012 se publicaron sus cartas, produciendo una mezcla de asombro y espanto. Sin artificios ni arreglos, urdían una trama que recordaba las fantasías de Kafka. Al igual que en El proceso o El Castillo, los seres humanos parecían moscas en una telaraña, esperando un destino fatal. La "señora María" era frívola y casquivana, pero su inhumanidad con sus hijas evoca la perversión del poder totalitario, que presupone una culpabilidad colectiva para declarar un estado de excepción, sin otra excusa que propagar la impotencia y el desamparo.
La situación no mejora cuando las niñas son trasladadas a una hacienda de Guateque, un pueblo a dos horas y media de Bogotá, con una iglesia de fachada blanca, un cura tridentino y un cacique con un paternalismo hipócrita y autocomplaciente. Las niñas disfrutan de más libertad, pero las palizas prosiguen. Nadie se ocupa de su aseo y educación. La "señora María" trabaja en una agencia de chocolates, flirteando con los hombres del pueblo. Enseguida circulan rumores sobre su descaro, las familias esquivan a la forastera, pero ésta no altera sus costumbres. De hecho, se queda embarazada y alumbra a un niño, que nunca suscitará su cariño. Ni siquiera le pondrá nombre. Sólo es el Niño y, sin la intervención de Emma, se pasaría la mayor parte del tiempo entre heces y orina. Uno de los momentos más dramáticos de un libro rebosante de escenas trágicas es el abandono del Niño en la puerta de una gran casa blanca. Emma sólo tiene cuatro años, pero entiende lo que está sucediendo e intenta evitarlo. El abandono se consuma entre los lastimosos quejidos del Niño: "Yo sentí que su llanto salía del fondo de la tierra. […] En ese momento aprendí de un solo golpe lo que es la injusticia y que un niño de cuatro años puede ya sentir el deseo de no querer vivir más y ambicionar ser devorado por las entrañas de la tierra. Ese día quedará sin duda como el más cruel de la existencia".
La "señora María" también abandonará a Emma y Helena. Las dos hermanas pasarán quince años en un convento con un clima opresivo, donde no reciben ninguna clase de educación académica. Las monjas se limitan a inculcar en las niñas el miedo al infierno y un angustioso sentimiento de pecado. La alimentación es miserable y el trato gélido. Las niñas se acostumbran, desviando su anhelo de afecto hacia otras niñas o incluso hacia muñecos. Emma se hace muy amiga de la Nueva, una chica tímida e infeliz que esconde en su delantal una figura de porcelana blanca. Para ella, es su hermanito Tarrarrura. Cuando el muñeco cae a un río, la Nueva se arroja a las aguas para salvarlo, pero se ahoga sin remedio. Esa noche, Emma se hace pis en la cama. Es la primera vez. El cuerpo refleja el tormento del alma. El dolor psíquico siempre necesita un cauce para desahogar su malestar. Finalmente, Emma se fuga del convento. La infancia ha quedado definitivamente atrás y el mundo se muestra con su conmovedora ridiculez: "En la calle no había nadie, sólo dos perros flacos y uno le estaba oliendo el culo a otro".
Memoria por correspondencia es un libro de enorme dureza, pero sus páginas no excluyen la ternura. En el convento, sor María Ramírez, la monja que se encarga de la plancha, ama a las niñas con una sencillez evangélica. Por el contrario, el sacerdote que se encarga de confesarlas obra con una intransigencia anticristiana, negando a Emma la posibilidad de ordenarse monja, alegando que no sabe nada de sus padres. En realidad, Emma es nieta del presidente Rafael Reyes, pero ignora cuál de sus tres hijos dejó embarazada a la "señora María". Emma aprendió a leer y escribir con dieciocho años, viajó por América Latina, mantuvo un breve idilio con Botero, perdió un hijo a consecuencia de la violencia política, se instaló en París y comenzó a pintar. No era buena dibujante, pero sus telas desprendían una intensidad deslumbrante. Germán Arciniegas afirma: "Ella no pinta con aceite sino con lágrimas".
Emma reflexiona sobre su atípico estilo: "Es verdad que mi pintura son gritos sin corrientes de aire. Mis monstruos salen de la mano y son hombres y dioses o animales o mitad todo. Luis Caballero dice que yo no pinto mis cuadros: que los escribo". Podría decirse que Memoria por correspondencia es un cuadro expresionista, un interminable grito como el famoso óleo de Munch. Al terminar el libro, el horror sigue temblando en la memoria, pero con una hebra de esperanza, anunciando que el sufrimiento del ser humano sólo puede curarse con el afecto de otro ser humano o con la creación artística, que es otro acto de amor y tal vez el logro más alto de nuestra especie.