Un grande volume conservato nell'archivio di palazzo Tozzoni raccoglie e conserva le memorie della famiglia: lavoro minuzioso e accurato svolto tra i documenti privati, la Genealogia della famiglia dei Conti Tozzoni è fatica del conte Francesco, che poco prima di spegnersi nel 1910, desidera lasciare un'opera "non per vana gloria, ma per solo uso di quei di Casa". Non è del resto il primo esponente della famiglia a farsi carico della trasmissione della propria storia: due secoli prima, nel 1706, lo storico locale, l'abate Andrea Ferri, consegna una "particolareggiata relazione" sul casato al committente, il conte Ciro, che per redigerla apre le porte del già ricco archivio. Il Ferri prende avvio dall'anno 1140 e individua l'origine dei Tozzoni nei Balduini di Toscana, precisamente di Lucca, che trasferitisi a Bologna, dopo varie vicissitudini che li vedono ad Ozzano e a Casola Valsenio, approdano nel 1400 circa ad Imola, già recanti il nome Tozzoni e da subito protagonisti della vita cittadina.
Vanto della famiglia, ricordato da un dipinto ad olio di Lavinia Fontana ancora presente nel palazzo, è il giureconsulto Pietro Paolo: è il primo a ricoprire in Imola la carica di gonfaloniere, è ambasciatore presso i papi Giulio II e Leone X e soprattutto figura nel 1520 come giudice della Repubblica di Firenze, per cui il palazzo del Bargello conserva affisso ad una parete l'antico stemma del casato che accampa il cervo rampante coi tre gigli di Francia. L'insegna araldica, ricorrente sulle pareti e gli arredi del palazzo, è spesso accompagnata da quelle di altre importanti famiglie, non solo imolesi, che legatesi ai Tozzoni con vincoli matrimoniali arrecano grande prestigio e ricchezza al casato. Un esempio: grazie al matrimonio con una Pantaleoni, figlia del Balì d'Ancona, ereditano nel Seicento il diritto di fregiarsi dell'insegna dell'aquila imperiale, privilegio concesso a tale famiglia dallo stesso Carlo V.
È da questo matrimonio che nasce il già menzionato Ciro, il primo ad assumere la carica di conte nel 1666, quando, conscio dell'importanza e del ruolo ormai assunto dalla famiglia, acquista il titolo dai conti Gabrielli di Bologna, con il diritto di subentrare nel possesso dell'antico feudo di Castel Falcino presso Sarsina, al cui vescovo (ancora all'inizio del secolo scorso) la famiglia paga poche libbre di cera ogni anno. Numerosi gli incarichi da lui ricoperti, soprattutto per mandato del duca di Modena Rinaldo d'Este: tra gli altri quello di ambasciatore presso il re di Polonia. È inevitabile che lo stesso palazzo imolese inizi ad assumere un importante ruolo di rappresentanza, vedendo sfilare ospiti come il duca di Modena e l'infante di casa Savoia. Grande è quindi la fama e il potere dei Tozzoni in città, molti altari nelle più importanti chiese cittadine si arricchiscono di suppellettili sacre fatte fabbricare in Roma e riportanti il cervo rampante.
A soli diciotto anni Ciro si unisce a Samaritana, dell'antica e nobile famiglia imolese dei Sassatelli; il viatico per un buon matrimonio la giovane sposa lo riceve dal padre, in una lettera scritta in occasione delle nozze, in cui il Sassatelli la esorta ad essere "Santa in Chiesa, Dama fuori di Casa, Serva in Casa, vezzosa in letto" e - così commenta Francesco Tozzoni - "pare che lo fosse, se diede vezzosamente alla luce diciotto figli". Diciotto figli di cui otto muoiono in tenera età, nove si dedicano alla carriera religiosa ed uno solo, Alessandro Ranuccio, continua la discendenza, sposandosi con la modenese Beatrice Ferrari: il matrimonio e l'amicizia con il duca di Modena Francesco II, di cui è gentiluomo di camera segreta, arricchiscono la famiglia Tozzoni di un palazzo, della cittadinanza modenese e di possedimenti nel territorio del ducato che vanno ad aggiungersi alla già estesa proprietà fondiaria.
Alessandro Ranuccio, a differenza dei fratelli, è mondano, ribelle alle austere regole della casa paterna, e si dimostra molto più attratto dalla vita "allegra e alquanto spendereccia" del ducato modenese. Eredita il palazzo imolese insieme al fratello, il priore Francesco Saverio, ma è quest'ultimo ad occuparsi della sua riedificazione nelle forme che conosciamo dopo la morte del padre Ciro nel 1725, adeguandolo sempre più alla importante funzione di rappresentanza. Cura non solo l'architettura, ma si occupa anche di "mobili, stoffe ed arazzi" e dota il palazzo di ricche argenterie e suppellettili.
A continuare la discendenza di Alessandro Ranuccio è Giuseppe Ercole, che si sposa diciannovenne con un'esponente del patriziato romano, la contessa Margherita Casali, nipote dei cardinali Casali e Millini. Le nozze si celebrano a Roma nel maggio del 1726 e pare che gli sposi raggiungano Imola a cavallo: il ritratto della contessa che si conserva a palazzo la ritrae, forse non a caso, nelle vesti di Diana cacciatrice. "Bella era questa dama, finamente educata amava di figurare, e i trattamenti magnifici" e il marito non la delude. Le offre infatti, oltre al palazzo dotato di quattro appartamenti tutti ben arredati, altre due dimore in via della Fortezza: a fianco casa Zappi dotata di rimesse, giardino, stalla e camere alla sinistra del palazzo e di fronte casa Vestri con la quale comunicano tramite un passaggio sotterrano, abitata dall'amministratore dei beni Tozzoni con la sua famiglia; infine due residenze per la villeggiatura.
Alla signora non manca una lussuosa carrozza con lacchè, servi in livrea, un guardaportone con due mori, un "bracciere" e, tra gli svaghi, la possibilità di festeggiare il Carnevale a Venezia. Margherita muore però dopo il suo quarto parto, lasciando vedovo a soli 26 anni Giuseppe, che quindi dopo cinque anni, nel 1738, si risposa con Carlotta Beroaldi. Si tratta di un'"ottima scelta", soprattutto per il prestigio che arreca la nuova parentela. Carlotta annovera tra i suoi famigliari il cardinale Prospero Lambertini, futuro Benedetto XIV, inoltre è ricca e figlia unica. È per loro che si rinnova nell'architettura e negli arredi l'appartamento barocchetto, le cui stanze quattro anni dopo, nel 1742, saranno adeguate ad ospitare per due volte Carlo Emanuele III di Savoia.
Benedetto XIV è molto attento alla vita dei coniugi e non li priva anche di rimproveri, come quello per un ballo in Bologna tenuto in periodo quaresimale. Dall'Imperatrice d'Austria la Beroaldi ottiene il titolo di "dama della Crociera" e così si fa ritrarre nell'ovale che ancora si conserva nel palazzo. Donna "saggia e prudente" e ottima madre, non riuscì però ad evitare il dissesto economico causato dal marito, dedito al vizio del gioco. Da vero gentiluomo Giuseppe "giuocava nobilmente e perdeva con dignità", tanto da rimettere in una notte l'intera possidenza modenese. Francesco Saverio cerca di ovviare ai debiti del nipote vendendo preziose argenterie e suppellettili; gli affianca anche un economo, che si rivela però più dannoso che proficuo. Esiste ancora un taccuino in cui sono annotate dal conte le perdite di gioco avute con il duca di Modena, "magro conforto ai tardi nipoti".
La Beroaldi muore dando alla luce l'undicesimo figlio; le speranze della famiglia sono ora riposte nel primogenito maschio Alessandro, che studia a Roma ma poi se ne allontana sdegnato dalla vita "cortigianesca" che vi si svolge e rifiutando la carriera religiosa a cui lo si vuole destinare. Tornato ad Imola si dedica alla vita pubblica, partecipando nel 1797 alla prima municipalità formatasi dopo la costituzione del "Provvisorio Governo Democratico" e continuando anche in seguito ad appoggiare il partito filofrancese. Sembra però dimenticarsi gli affari privati e gli agenti ai quali li affida gli dissipano gran parte del patrimonio. Fino a che non giunge il nipote Giorgio Barbato, figlio del fratello Giorgio Cristiano, che lascia la Toscana, dove veste la divisa di cadetto nelle guardie del corpo della regina reggente di Etruria, per occuparsi delle dissestate finanze famigliari. Sicuramente non dispiace allo zio Alessandro il fidanzamento del nipote con Orsola Bandini, della famiglia Bandini Caldesi di Faenza, accomunata ai Tozzoni dalle medesime simpatie politiche. Lo stesso conte Giorgio Barbato si manifesta di idee moderatamente progressiste e liberali, e il gusto francese ben si avverte nella scelta stilistica che compie quando, in occasione delle sue nozze, si appresta a restaurare l'ala est del palazzo, il cosiddetto "appartamento Impero".
Non è un matrimonio felice; il dolore per la morte del piccolo Alessandro a soli due anni per "indecifrabile malattia" getta Orsola in uno stato di profonda afflizione e le fa maturare una certa avversione verso il marito. Morta prematuramente, Giorgio Barbato fa modellare una bambola, un "di lei facsimile, in stucco, grande al naturale rivestito ed ornato con gli stessi suoi panni e capelli", che ancora si conserva nell'archivio del palazzo.
Il conte, ritiratosi dalla vita pubblica cittadina nella quale ha rivestito incarichi di rilievo, passa la sua vecchiaia in "intellettuali distrazioni"; collezionista, di eclettici interessi, costituisce una discreta biblioteca, ancora in parte visibile nell'appartamento al piano terra, e soprattutto un ricco medagliere, essendo la numismatica una delle sue più grandi passioni. Unico erede dei beni Tozzoni, si sente responsabile anche della trasmissione della storia famigliare: a tal fine riordina l'archivio privato nelle forme e con gli strumenti di cui ancora ci si avvale, una fatica che gli costa tre anni di lavoro. La cecità che lo colpisce prematuramente non gli impedisce di scrivere, con l'ausilio di un segretario, lettere, racconti e memorie fino a tarda età.
Il conte Francesco, l'estensore della suddetta Genealogia, nato da un secondo matrimonio di Giorgio Barbato, ricorda come con la morte del padre i conti cessino di risiedere stabilmente a palazzo Tozzoni, che si trasforma in "sede di tranquilla villeggiatura estiva". Gli interessi del casato, del resto, sono ormai rivolti altrove; attenuandosi il loro ruolo pubblico in Imola, intessono con la città un rapporto più privato.
Nel luglio 1858 Francesco, più per accontentare il padre che per suo desiderio si sposa a Firenze, appena ventenne, con la contessa Sofia Serristori, appartenente ad una delle più antiche e ricche casate toscane, e fissa stabilmente la sua dimora in Firenze. Per l'occasione si commissionano lavori a palazzo, a cui è interessata anche la camera dell'alcova. Dei figli di Francesco, Giuseppe e Umberto, il primo segue la carriera militare e come sottotenente di vascello compie sulla corvetta "Vettor Pisani" un viaggio di studi e di circumnavigazione attorno al mondo (di cui nel palazzo si conserva un'abbondante documentazione fotografica). Abbandonata la Marina entra nella corte reale e viene nominato da Umberto I "Maestro delle cerimonie"; mentre la moglie, Vittoria Torregiani, diviene dama di palazzo della principessa Eugenia di Savoia. Stretto è il legame con i reali: Vittorio Emanuele III, come i suoi avi, soggiorna nel 1908 a palazzo Tozzoni, ultimo atto che vede l'antica dimora ricoprire un importante ruolo di rappresentanza.
Alla figlia del fratello Umberto, Sofia, che eredita i beni dei Serristori e dei Tozzoni e unisce anche i due cognomi, si deve la decisione di donare il palazzo alla città, perché lo destini a museo, quasi a sancire in forme nuove il legame antichissimo che lega la sua famiglia a Imola.