Αν και χτίστηκε πριν από την Αγία Σοφία της Κωνσταντινούπολης, η Μονή των Αγίων Σεργίου και Βάκχου είναι γνωστή ως «Μικρή Αγία Σοφία» αφού λόγω της πρωτοτυπίας της αρχιτεκτονικής της και την πολυτέλεια της σκαλισμένης διακόσμησής της, εκείνη την εποχή θεωρούνταν ένα από τα μεγαλύτερης σημασίας θρησκευτικά κτήρια της περιοχής και αργότερα συγκρινόταν μόνο με το Ναό της Αγίας του Θεού Σοφίας.
Ο ναός χτίστηκε το 527 από τον Ρωμαίο αυτοκράτορα Ιουστινιανό Α’ και τη σύζυγό του Θεοδώρα στο παλάτι του Ορμίσδα, στον Πρώτο Λόφο της Πόλης, εντός του περιβόλου των τειχών.
Αρχιτέκτονες, σύμφωνα με τις περισσότερες πηγές, ήταν ο Ισίδωρος ο Μιλήσιος και ο Ανθέμιος ο Τραλλιανός. Ωστόσο οι διαφωνούντες με την άποψη αυτή, αναφέρουν πως το κτήριο είναι αρκετά διαφορετικό σε αρχιτεκτονικές λεπτομέρειες από την Αγία Σοφία.
Μια εντυπωσιακή αναθηματική επιγραφή που περιέτρεχε το εσωτερικό γείσο του κυρίως ναού, επιβεβαίωνε την ταυτότητα των δωρητών. Τα κιονόκρανα επίσης φέρουν τα μονογράμματα του Ιουστινιανού και της Θεοδώρας. Βότρυες και σταφύλια κοντά στις επιγραφές θυμίζουν τον Βάκχο των αρχαίων Ελλήνων.
Σήμερα λειτουργεί ως τέμενος και αποτελεί ένα από τα σημαντικότερα σωζόμενα μνημεία της πρώιμης βυζαντινής περιόδου.
Θεωρείται καλό παράδειγμα της εφευρετικότητας που επιδείκνυαν οι αρχιτέκτονες και οι μηχανικοί την εποχή του Ιουστινιανού Α’. Ο αρχιτεκτονικός σχεδιασμός μπορεί να συγκριθεί με εκείνον της Αγίας Σοφίας στην Κωνσταντινούπολη ως προς το ότι εφευρίσκει μια παρόμοια μέθοδο μετάβασης από το εξωτερικό τετράγωνο κέλυφος στον τρουλαίο πυρήνα, ο οποίος είναι εδώ οκταγωνικός.
Οι όγκοι διαλύονται ο ένας μέσα στον άλλο, καθώς ο ο κεντρικός χώρος χάνει τα σαφή του όρια και ανοίγεται σε κόγχες, και από τις κόγχες στο περιβάλλον ευρύτερο κέλυφος. Ο εξαιρετικός γλυπτός διάκοσμος, με τις δυναμικές μορφές και τις έντονες αντιθέσεις φωτός και σκιάς, αποτέλεσμα της ευρείας χρήσης τρυπάνου, οπωσδήποτε συντελούν στη γενική εντύπωση.
Τα στοιχεία αυτά απαντούν στην Αγία Σοφία, παρά τις πολλές διαφορές σχεδιασμού και αρχιτεκτονικών λύσεων μεταξύ των δύο μνημείων.
Μετά την Άλωση της Κωνσταντινούπολης, το 1453, η εκκλησία παρέμεινε ανέγγιχτη μέχρι τη βασιλεία του Βαγιαζήτ Β’. Το διάστημα 1506-1513 μετατράπηκε σε τζαμί από κάποιον Αγά Χουσεΐν που αποκεφαλίστηκε από τον σουλτάνο.
Με το πέρασμα των χρόνων, είτε από σεισμούς, είτε από κακή συντήρηση η μονή είχε προβλήματα στατικότητας. Το κτήριο μπήκε στη λίστα παρακολούθησης απειλούμενων μνημείων της UNESCO. Μάλιστα τα έτη 2002, 2004 και 2006 βρισκόταν στον κατάλογο παρακολούθησης των 100 πιο απειλούμενων μνημείων. Η αποκατάστασή του διήρκεσε αρκετά χρόνια και τελείωσε το 2006. Πλέον είναι ανοιχτό για το κοινό.