Il problema di dove fosse sepolto san Rufo rimase insoluto fino a quando, nel "Coemeterium Maius", sulla via Nomentana in Roma, adiacente a quello di sant’Agnese, fu rinvenuto un loculo recante l'iscrizione "RUFUS TABELLARIUS".
Fu identificato in quello di San Rufo citato da Adone.

Epigrafe rinvenuta sulla Tomba nel Coemieterius Maius in Roma (Mus. Lat. XII, ora nei Musei Vaticani)

RVFVS TABELLA - RVS DEPOSTVS IIII IDV - DEC
Rufo portalettere sepolto il dieci dicembre

La lapide, pubblicata prima dal cardinal Passionei e poi dal prof. Marucchi, reca il nome e la data su tre righe e il segno della palma, simbolo del martirio.