La Fondazione Ugo e Olga Levi e la sua Biblioteca nascono a Venezia per volontà testamentaria nel 1962. Nel 2008 la Biblioteca è stata poi intitolata a Gianni Milner, storico presidente della Fondazione.
Il vasto patrimonio della Biblioteca, specializzata nel settore musicale, è costituito da: un nucleo originario di partiture e spartiti ottocenteschi e novecenteschi di proprietà dei fondatori; manoscritti musicali ed edizioni musicali a stampa risalenti al periodo dal primo Cinquecento alla fine del Settecento; disegni e ritratti di musicisti; libretti d’opera; testi musicologici e storico-musicali, con specifiche sezioni dedicate al Medioevo, al Rinascimento e al Barocco, alla musica policorale, alla musica per film e all’etnomusicologia. L’emeroteca dispone anche di un servizio online gratuito di connessione alla sezione Musica di JSTOR-Journal Storage.

Nella Biblioteca “Gianni Milner” è conservato ed è consultabile il Fondo storico della Cappella di San Marco di proprietà della Procuratoria della Basilica che comprende più di quattromila e duecento composizioni musicali. Inoltre, dispone di una preziosa, quanto corposa, sezione di microfilm provenienti da biblioteche italiane e straniere.
Per donazione, lascito o acquisto la Biblioteca si è arricchita di preziosi fondi librari, fra i quali si segnalano: il fondo Guido Bianchini (sinfonie settecentesche), i fondi Angelo Sullam e Gino Voltolina (libretti d’opera), il fondo Mario Labroca (musica manoscritta e a stampa del XX secolo), i fondi Giorgio Magrini (musica da camera del Novecento), Alfredo Ceccherini (musica per banda), Elio Borsetto (oltre duemila e duecento incisioni in vinile di musica jazz!), fondo Gaberlotto (partiture di musica a stampa dei più noti musicisti contemporanei: Bussotti, Mosca, Castiglioni, Nono, Sciarrino, ecc.), il Fondo CEMS (una raccolta della produzione a stampa della casa editrice, che fu tra le realtà editoriali che maggiormente si impegnarono nella pubblicazione di un repertorio musicale secondo i dettami del Motu Proprio di San Pio X), i fondi dei compositori Sante Zanon, Giovanni Tebaldini, e Ausonio De Lorenzi Fabris (musica manoscritta e a stampa, bozzetti, lastre di piombo), dei cantanti lirici Gianni Guidetti (una raccolta di programmi di sala di teatri italiani ed europei) e Ginevra Vivante, dei musicisti Virginia Bronzini (musica per pianoforte) e Luca De Marchi (un piccolo lascito, si compone di alcuni manoscritti di cui cinque composizioni riferite al compositore Guglielmo Bussoli), il fondo Safred (studi sugli strumenti ad arco), del critico Guido Piamonte e del musicologo Giuseppe Massera (critica musicale, musicologia e storia della teoria musicale), del direttore d’orchestra e compositore Giovanni Losavio (musica manoscritta e a stampa) e del direttore d’orchestra Roberto Cecconi, il fondo dell’etnomusicologo Roberto Starec e i fondi dei due massimi esponenti di critica e storia in cinematografia musicale Sergio Miceli e Ennio Simeon.

La Biblioteca Milner. Un patrimonio di conoscenza unico al mondo.