Gleim lernte Elisa von der Recke, die nach einer geschiedenen Konvenienzleben ihr Leben größtenteils auf Reisen auf der Suche nach schönen Seelen zubrachte, im Jahr 1785 durch die Vermittlung von Leopold Friedrich Günther von Goeckingk kennen. Elisa von der Recke besuchte Gleim mehrfach in Halberstadt, wohin auch ihre Reisebegleiterin und Freundin Sophie Schwarz heiratete.
In Briefen hatte Elisa von der Recke gegenüber Gleim den mit ihr befreundeten Porträtisten Joseph Darbes gelobt, der sie mehrfach porträtiert hatte. Darauf pries Gleim den ihm bis dahin nicht bekannten Künstler als "Maler der Seele" und bat seine Freundin Elisa um eine Kopie eines dieser Porträts. Als er diese erhielt, war er enttäuscht, "nicht den ganzen Seelenmahler" darin zu finden, wie er der Dargestellten bekannte (Gleim an Elisa von der Recke, 14.7.1785, Gleimhaus Hs. A. 6135). Der Kopist Ernst Gottlob, der das Bild überbrachte, "sagte mir Wunder von Herrn Grafs Elise", so Gleim weiter, dessen Begehrlichkeiten damit offenbar geweckt waren. Wann genau Gleim dieses zweite Porträt der Elisa erhielt, nun als Kopie von Gottlob nach Graff, ist nicht ersichtlich; vermutlich im Zusammenhang mit dem Porträt Goeckingks, ebenfalls von Gottlob nach Graff, das Elisa selbst als Pendant zu ihrem Bildnis vorschlug und das diesem in Format und Gestaltung (gemaltes Oval) entspricht.
Bemerkenswert ist die weitgehende Übereinstimmung in Ausschnitt, Ansicht und insbesondere in der Haartracht dieses Porträts mit der etwas früheren Kopie Gottlobs nach Darbes.
Beide Bildnisse kamen nach Gleims Tod aus dessen Sammlung abhanden: Das frühere wurde - quasi als Dublette - bereits in der ersten Auktion aus Gleims Nachlass 1803 versteigert und hier von dem Halberstädter Oberdomprediger Christian Friedrich Bernhard Augustin erworben. Derselbe erwarb zu einem unbekannten Zeitpunkt auch das vorliegende Bildnis, so dass kein Porträtgemälde von der Reckes mehr in der Sammlung verblieb. 1905 gelang es, diese beiden und noch zwei weitere Bildnisse aus dem Besitz der Nachkommen Augustins zurückzuerwerben.
Graffs Original des Bildnisses befindet sich in Schloss Rundāle, Lettland (Mitteilung Michelle S. James, Provo).