Trasferitisi a Imola da Lucca nel corso del XV secolo, i Tozzoni si stabilirono già a partire dal 1500 in due case contigue che si affacciavano su via della Fortezza (l'attuale via Garibaldi), trasformandole in palazzo tra il 1726 e il 1738 sotto la supervisione dell'architetto di origine ticinese Domenico Trifogli.
Pur non esistendo dati documentari certi è assai probabile che la risistemazione delle "case Tozzoni" venne commissionata dal conte Francesco ad Alfonso Torreggiani, architetto bolognese di fama, mentre Trifogli, attivo in città, avrebbe assunto la direzione dei lavori, portando a termine una ristrutturazione modellata sulle accresciute condizioni di status sociale della nobile famiglia imolese ed aggiornata sui moderni usi di rappresentanza. L'imponente mostra del portale d'ingresso sulla strada, lo scenografico scalone e l'altrettanto magnifico salone - elementi della grammatica architettonica bolognese fissati a fine Seicento - nel piano nobile si accompagnano alla creazione di un nuovo quartiere di rappresentanza di tre stanze, che non solo nelle dimensioni ma anche nella decorazione è debitore alla cultura francese dell'abitare e del ricevere d'inizio Settecento. Sempre all'ala ovest, ma al piano terreno, si procedette alla partimentazione delle grandi stanze quattrocinquecentesche in vani più piccoli, funzionalmente diversificati, che attualmente conservano arredi scalati tra il Seicento e il tardo Ottocento. La scansione dei lavori architettonici è percorribile lungo l'arco dei dodici anni necessari al completamento grazie alla rendicontazione delle spese, ancora conservata nell'archivio famigliare. Nel 1818 un ulteriore ammodernamento interessò tre stanze del lato ovest del piano nobile, arredate secondo il gusto antichizzante proprio della cultura neoclassica: al contrario degli adeguamenti settecenteschi questi interventi furono eseguiti in pochi mesi.

Lo scalone

Il primo intervento strutturale riguardò la costruzione dello scalone d'ingresso e del salone d'onore.
La grande scala, che mette in comunicazione il cortile con il piano nobile, si diparte dal loggiato e si snoda lungo due rampe per approdare frontalmente all'ingresso della sala di rappresentanza. I lavori murari per la sua edificazione sono collocabili in modo molto preciso grazie ad un riferimento che compare nel libro delle spese ("Al nome di Dio principia il lavoro della nuova scala, sala et altro sotto la direzione del Sig. Dom.co Trefogli [...] adì 3 marzo 1726"), mentre la decorazione a stucco è databile al 1730 circa. L'esecutore delle statue è il plasticatore fiammingo Francesco Janssens, allievo dell'Accademia Clementina di Bologna mentre i rilievi e le decorazioni sono opera dello stuccatore ticinese Giovan Battista Verda.
Nelle statue dello scalone il debito con la cultura classica appare ormai saldato, ed esse si collocano di diritto nel solco della tradizione plasticatoria bolognese, vicino ai modi di Angelo Piò: l'austera retorica della cultura figurativa seicentesca è prosciugata in forme esili ed eleganti, che sono alla base del "barocchetto" emiliano. La consueta collocazione delle statue al punto d'incrocio delle rampe, sui pianerottoli, permette di utilizzarle come fulcro ottico; l'atteggiamento stesso delle figure, i corpi in torsione, la postura delle gambe, invitano ad una visione dinamica che riesce ad animare anche la struttura architettonica.

Il salone

La grande sala di rappresentanza è caratterizzata dalla presenza di numerosi dipinti alle pareti, disposti in stretta contiguità e su più file, così come doveva essere l'originale sistemazione settecentesca. Nel corso del XVIII secolo, su una scarsa, primitiva dotazione seicentesca, per lo più costituita da ritratti di famiglia e da qualche dipinto utile alla devozione privata, la famiglia Tozzoni compose una delle collezioni più importanti della città. Fondamentale, intorno al 1780, fu l'incameramento di una quadreria importante per quantità e qualità di opere, quella appartenuta alla famiglia Pighini.
L'incremento della collezione di dipinti non era cominciato con questo importante acquisto in blocco. Basti pensare alla grande tela di Ignazio Stern raffigurante la Gloria di tre santi agostiniani, acquistata dal conte Giuseppe Tozzoni nel 1728 dagli eredi del cardinale Ulisse Gozzadini, committente dell'opera. Il dipinto, esemplare per la qualità, fu posizionato fin dall'inizio nel salone, dove tutt'ora si trova.
A partire dal terzo decennio dell'Ottocento, forse durante una congiuntura economicamente sfavorevole, Giorgio Barbato Tozzoni cominciò ad intaccare il corpus della collezione, vendendone alcuni pezzi. All'inizio del Novecento parte dei dipinti venne trasferita a Firenze, in Palazzo Serristori, presso il ramo fiorentino della famiglia imolese. Da qui ebbe il via un ulteriore depauperamento, che culminò con l'asta Serristori del 1977. Attualmente la quadreria esposta nelle sale del palazzo consta di centosettanta pezzi.

L'appartamento barocchetto

Il salotto del Papa
Come tutte le sale dell'appartamento barocchetto il cosiddetto salotto "del Papa" venne costruito tra il 1736 e il 1738. Anche in questo caso i libri di spesa ci permettono di seguire i lavori di ricostruzione: accanto ai pagamenti per il capomastro e i muratori sono puntigliosamente annotate le spettanze di falegnami, fabbri, decoratori, imbianchini, ebanisti, nonché sono segnati gli approvvigionamenti delle materie prime necessarie. Anche i lavori di decorazione, così come quelli strutturali, furono seguiti attentamente dal conte Francesco.
Il risultato finale è di grande piacevolezza: ogni singolo arredo, ogni particolare decorativo, concorre a creare armonia e omogeneità di gusto; anche i pezzi di mobilia databili a periodi precedenti, che facevano parte dell'antica dotazione della casa, risultano ben inseriti nell'insieme.
Sulla parete destra spicca il grande camino realizzato in gesso, impreziosito dal rilievo in stucco a larghi ed eleganti ramages dorati, che incorniciano la specchiera centrale. A lato si aprono le due finestre, i cui scuretti sono decorati a tempera e filamenti dorati, così come il parafuoco che copre la bocca del camino.
La sigla decorativa unificante è quella dell'elegante festone che si snoda lungo il perimetro della stanza, occupando la parte bassa delle pareti, sulla quale si innestava il parato in damasco cremisi, sostituito probabilmente nell'Ottocento da una più pratica decorazione a tempera stampata.
L'appartamento venne terminato nel 1738 in occasione delle nozze tra Giuseppe Tozzoni e Carlotta Beroaldi, parente del cardinale Lambertini, futuro Papa Benedetto XIV. La denominazione di "salotto del Papa" nasce proprio dalla consuetudine che ricorda un pernottamento del futuro pontefice tra le mura di questa stanza.

Il salotto rosso
Come nel salotto del Papa anche in questa stanza spicca la decorazione perimetrale a motivi vegetali intrecciati, liberata dalla scialbatura nel corso dell'ultimo restauro.
Tra gli arredi un elemento d'interesse è costituito dalla grande specchiera settecentesca in legno dorato, incorniciata da ricche volute vegetali, sovrastante una console in legno dalla struttura sontuosamente naturalistica che, benché d'esecuzione settecentesca e proprio per la perfetta mimesi del mondo naturale, richiama analoghi modelli di fine XVII secolo di ascendenza romana.
Anche in questa sala viene ricordata l'acquisita parentela tra i Tozzoni e la famiglia Lambertini: qui è collocato il ritratto in vesti pontificali di Benedetto XIV: nella cornice che contorna il dipinto, tra l'intreccio del fogliame, al lato destro e al lato sinistro, sono collocati due cervi, simbolo araldico della famiglia Tozzoni.

L'alcova
L'ultima sala dell'appartamento barocchetto è la camera nuziale di Giuseppe Tozzoni e Carlotta Beroaldi, connotata dall'alcova, la cui mostra è riccamente decorata da un festone in stucco a volute vegetali che alla sommità si apre in un elegante cartella a timpano spezzato.
Gli elementi decorativi sono propri del linguaggio settecentesco: le membrature architettoniche (cornici, mostra dell'alcova, mostra delle porte) trascorrono in morbida continuità nelle leggere ornamentazioni a volute.
Il repertorio figurativo è quello del barocchetto francese, conosciuto sicuramente grazie alla documentata circolazione dei livres d'ornaments del Meissonier, del Lepautre o del Bérain e realizzato, in particolar modo in Romagna, da maestranze ticinesi. Non stupisce quindi ritrovare nel libro delle spese di casa Tozzoni, negli anni 1726-1737, il nome di Giovan Battista Verda, stuccatore originario di Gandria nel Canton Ticino.
Un accorgimento visivo dilata lo spazio della stanza, che viene replicato grazie ad una grande porta a specchio che occupa parte della parete ovest, creando un doppio illusivo di grande efficacia.
Anche in questa stanza è presente, seppure indirettamente, la personalità del cardinal Lambertini: sopra la testiera del letto è appeso il crocifisso che il porporato donò alla coppia Tozzoni-Beroaldi in occasione delle nozze.

L'appartamento Impero

Le sale nominate "appartamento Impero", nell'ala est del piano nobile, furono oggetto di una ristrutturazione realizzata nel 1818 in occasione delle nozze tra il conte Giorgio Barbato Tozzoni e Orsola Bandini. Lo stesso Giorgio Barbato, così come aveva fatto quasi un secolo prima l'antenato Francesco, seguì passo passo la realizzazione dei lavori del proprio appartamento nuziale ed ogni momento della progettazione e messa in opera degli arredi e delle decorazioni. Questi ultimi furono realizzati da due artigiani faentini: l'ebanista Angelo Bassi per la mobilia e l'ornatista Pasquale Saviotti, allievo di Felice Giani, per le pitture parietali e probabilmente anche per il coordinamento dei lavori e per la definizione dei nuovi spazi.
Come nel caso dell'appartamento barocchetto anche qui si realizza una sintesi stilistica unitaria, in questo caso improntata al gusto archeologico neoclassico, voluto da Giorgio Tozzoni e sostenuto da Saviotti, un artista ben documentato su repertori antichizzanti, incrementati dal vero nel corso di diversi soggiorni romani.
L'appartamento, negli aspetti strutturali, decorativi e degli arredi, ci è arrivato intatto: ancor oggi un riscontro documentario, inventari alla mano, permette di riconoscere ogni pezzo.

La sala da pranzo
La prima stanza dell'appartamento, una sala da pranzo, inizialmente di pianta rettangolare, venne trasformata in forma ellittica, senza intaccare le strutture murarie preesistenti.
La decorazione a tempera della volta è a finta architettura: una serie di riquadri esagonali, di forma decrescente verso il centro, accolgono piccoli motivi en grisaille; al centro del soffitto è un ovale con Ercole nell'Olimpo mentre lacunari quadrangolari ospitano divinità mitologiche, putti e amorini.
Se il repertorio figurativo è quello consueto della citazione dell'Antico, stilisticamente Saviotti abbandona il nervoso calligrafismo di Felice Giani per approdare a caratteri formali di maggiore forza plastica, quasi neocinquecenteschi.

Il salotto
La decorazione della "camera di società" (volta ripartita da un motivo monocromo e riquadro centrale con scena allegorica), è fortemente caratterizzata dalle quattro Virtù, collocate nello sguancio di raccordo tra pareti e volta. Gli arredi rispettano la tradizionale severità strutturale dei mobili emiliano-romagnoli, pur essendo attenuato l'aspetto "di parata" per approdare ad una funzionalità ed un comfort moderni. Eseguiti in legno impiallacciato in noce ricoperto da una patina scura, sono privi di filettature ed intarsi: gli unici tocchi luminosi sono affidati ai piccoli inserti in bronzo dorato (borchie, rosette, espagnolettes).
Su una console è collocata la statuetta in gesso che ritrae il piccolo Alessandro Tozzoni, figlio di Giorgio Tozzoni e Orsola Bandini, vissuto solo due anni, dal 1823 al 1825.

La camera da letto
La camera è caratterizzata dall'austero letto nuziale (come tutti gli arredi dell'appartamento è in noce patinato scuro), circondato alle pareti da una decorazione che finge un fitto drappeggio: quasi una citazione del gusto francese per i tendaggi drappeggiati, inaugurato in epoca napoleonica dagli architetti Percier e Fontain. In alto, entro una fascia, compare una teoria di amorini entro oculi profilati in oro; al centro della volta è un riquadro con la scena mitologica di Latona e i pastori della Licia.

L'appartamento della veranda

Sul lato nord del palazzo, lungo la veranda che si apre sul cortile, sono disposte altre tre stanze, caratterizzate da mobilio composito, per la maggior parte ottocentesco.
Nel salotto spicca tra gli altri arredi un'elegante dormeuse mentre tra i dipinti vale la pena segnalare una Sacra Famiglia con San Giovannino e Sant'Anna, bella tavola cinquecentesca di scuola bolognese, la Maddalena penitente di Ignazio Stern e un San Francesco in preghiera convincentemente attribuito a Bartolomeo Passerotti.
La camera da letto è decorata alle pareti da una finta tenda bianca con frangia a nappine, illusionisticamente appesa alle pareti con vere borchie in bronzo dorato.
Anche qui, come nel resto del palazzo, la traccia persistente della vita quotidiana rimane nelle suppellettili che riempiono le stanze: un esempio per tutti è quello della terza stanza dell'appartamento della veranda, la toilette, dove tra catini in smalto per le abluzioni, specchiere e tavolini sui quali fanno mostra pettini, boccette per oli profumati, spazzole e parrucche, sembra di poter cogliere l'essenza di gesti quotidiani, da poco compiuti.

Il piano terra

Le stanze a piano terra, nell'ala est, furono ricavate da ambienti più grandi, divisi per razionalizzare gli spazi abitativi, nel corso dei lavori settecenteschi di ristrutturazione.
Ad identificare i vani preesistenti rimangono tracce di decorazioni cinquecentesche e l'adattamento delle lunette dipinte con episodi tratti dal ciclo dell'Eneide, che decorano le pareti del salotto rosso e della bibilioteca.
Molti arredi sono ottocenteschi, ma sono presenti alcuni mobili più antichi: è il caso del grande mobile a due corpi seicentesco (classico "arredo da parata" della tradizione emiliana) conservato nella sala gialla e delle due credenze con alzata, anch'esse seicentesche, collocate nella sala da pranzo, ai lati della tavola apparecchiata secondo i canoni e il gusto del ricevere.
Nella disposizione degli ambienti del piano terra la cucina è posizionata strategicamente: è quasi affrontata alla sala da pranzo, si apre sulla corte esterna ed è adiacente agli alloggi della servitù. La stanza conserva il grande camino, che occupa quasi per intero una parete, e tutti gli attrezzi d'uso per le mansioni casalinghe. Spicca sul resto degli arredi la grande madia per la conservazione dei cibi lavorati e della farina.