L' A.N.M. ha radici assai lontane nel tempo.
Comunemente il primo embrione dell'associazionismo é fatto risalire al 1904, quando 116 magistrati chiesero con un documento rivolto al capo del Governo e al Ministro della Giustizia la riforma dell'ordinamento giudiziario secondo il progetto Zanardelli, che prevedeva garanzie di inamovibilità ed indipendenza. Il documento, noto come Proclama di Trani, che ebbe un seguito di procedimenti disciplinari contro i firmatari, mise tuttavia in moto un meccanismo inarrestabile. Il 13 giugno 1909 a Milano un'assemblea di 44 magistrati deliberava la costituzione di una Associazione generale tra i magistrati d'Italia (Agmi).
Un anno dopo gli iscritti erano già 800, nel 1911 oltre 1700. Fin dall'inizio l'associazione si mosse per ottenere un'indipendenza reale, soprattutto per quanto riguardava i tramutamenti, le promozioni e lo status del PM. La sua azione colse immediatamente risultati positivi: dopo una prima riforma di Orlando che creò il Consiglio Superiore della Magistratura, nel 1921 il Ministro Rodinò riformava l'ordinamento giudiziario riconoscendo l'inamovibilità dei giudici e stabilendo l'elettività dei componenti del Consiglio Superiore della Magistratura (composto da 10 giudici di Cassazione o equiparati e quattro professori universitari ordinari).
Non stupisce quindi che il Fascismo, coerentemente con la sua ideologia totalitaria, non si preoccupò tanto di modificare l'ordinamento giudiziario (che rimase in vigore, svuotato da una serie di leggine sul reclutamento, la carriera, i gradi e gli organici, fino al 1941), quanto di sciogliere nel 1925, l'associazione dei magistrati.
Egualmente non può stupire che alla caduta del regime fascista la magistratura italiana abbia ripreso subito le sue battaglie per la riforma delle istituzioni giudiziarie, ricostituendo, fin dal 1945 l'Associazione Nazionale Magistrati. Nel dicembre del 1945 il primo numero del suo giornale, La Magistratura, dichiarava il suo impegno per la conquista e difesa dell' indipendenza, per un per un trattamento adeguato all' importanza della sua funzione, per l'elaborazione del nuovo assetto costituzionale del paese e la nuova struttura dello stato democratico, per la soluzione dei problemi dell'ordinamento giudiziario, la riforma dei codici e della legislazione. Delineava cioè quell'essere associazione di categoria ma non voce di una corporazione, istanza rappresentativa ideale e di esigenze materiali ma non sindacato, rappresentanza delle idee dei magistrati sulla sovranità e la giustizia, in quanto componenti di un potere dello stato indipendente e sovrano, ma raccordato agli altri principi chiaramente espressi nel suo statuto.
L'Associazione si definiva, in quel primo numero del suo giornale, come apolitica, ma avvertiva: "apoliticità non significa misoneismo e sospettosa diffidenza verso quel rinnovamento che é presupposto indispensabile della ricostruzione morale e materiale della nostra Italia.". E più oltre si osservava: "Intesa come un aspetto della sovranità dello Stato accanto al potere legislativo e all'esecutivo, la funzione esercitata dalla giustizia ha un valore squisitamente politico, pur essendo sottratta all'ondeggiamento derivante dall'alternarsi dei partiti al governo della cosa pubblica.". Dunque, una definizione di apoliticità dell'associazione in quanto tale, come apartiticità pienamente compatibile con il pluralismo ideologico e culturale dei gruppi che si sono via via venuti formando nel suo seno. Gli obbiettivi e gli ideali espressi nell'editoriale del primo numero sono ancora attuali, e l'associazione, pur nella dialettica anche accesa delle correnti che la compongono ha finora sempre trovato in essi la sua unità. Già nel primo congresso, nel 1948, l'A.N.M. si impegnava su temi che ne hanno segnato tutta la storia successiva: la attuazione del Consiglio Superiore della Magistratura, la piena realizzazione dell' indipendenza esterna e di quella interna abolendo il potere condizionante delle gerarchie in nome della pari dignità della funzioni. La necessità di coniugare efficienza della giustizia come servizio pubblico con le esigenze di garanzia dei cittadini e di democraticità dell'ordinamento.Quei principi enunciati nel 1945 vogliamo continuare a difendere e sviluppare. Grazie a queste idee l'indipendenza della magistratura si è costantemente accresciuta in questi anni, e l'uguaglianza dei cittadini non è più una formula retorica.