La biblioteca venne inaugurata ufficialmente nel 1928, ma la sua origine risale al 1883, anno dell'elezione a sindaco di Roberto Martelli, che nella sua amministrazione ha prestato grande attenzione alla valorizzazione culturale di Vinci.
Grazie all'attività dell'amministrazione ed alla consegna della cittadinanza onoraria ai maggiori studiosi leonardiani del tempo (Gustavo Uzzielli, Carlo Ravaisson Mollien, Giovanni Piumati ecc.), la biblioteca ricevette in omaggio molte opere e cominciò a prendere forma, pur non avendo spazio a sufficienza per crescere. Il problema della sede fu risolto nel 1919 quando Giulio Masetti da Bagnano donò al comune il Castello dei Conti Guidi, dove venne trasferita la sede della biblioteca, ristrutturata nel 1934.
La fondazione ufficiale della biblioteca avvenne però solo nel 1928 grazie all'opera di Renzo Cianchi ed Aladino Baldereschi, che redassero l'inventario e catalogarono tutti i volumi.
Nel corso degli anni divenne un importante centro di studi leonardiani. Durante gli anni settanta ebbe anche la funzione di centro di pubblica lettura.