Ο Γιάννης Κεφαλογιάννης γεννήθηκε στις 6 Δεκεμβρίου 1932 στα Ανώγεια Μυλοποτάμου και αποφοίτησε από την Ιατρική Σχολή του Πανεπιστημίου Αθήνας. Μέλος της Ιατρικής Εταιρείας Αθηνών, εργάστηκε ως επιμελητής και ως διευθυντής Παθολογικής Κλινικής.

Τα χρόνια της γερμανικής κατοχής έλαβε μέρος στην Εθνική Αντίσταση.

Το 1958 εξελέγη για πρώτη φορά βουλευτής Ρεθύμνου με το ψηφοδέλτιο της ΕΡΕ, με την οποία επανεξελέγη το 1961 και το 1963, περίοδο κατά την οποία ήταν γραμματέας της Βουλής.

Κατά τη διάρκεια της απριλιανής δικτατορίας (1967-1974), ανέπτυξε έντονη αντιστασιακή δράση και υπήρξε εκ των ιδρυτών της οργάνωσης Εθνική Δημιουργική Ομαλότητα, με συνέπεια την παραπομπή του στο στρατοδικείο.

Στη Μεταπολίτευση πολιτεύθηκε με τη Νέα Δημοκρατία και, το 1976, ανέλαβε για πρώτη φορά κυβερνητικό αξίωμα ως υφυπουργός Κοινωνικών Υπηρεσιών στην κυβέρνηση Κωνσταντίνου Καραμανλή, ενώ ορκίστηκε υφυπουργός Εσωτερικών στην κυβέρνηση Γεωργίου Ράλλη, τον Μάιο του 1980.

Στην κυβέρνηση Τζαννετάκη, το 1989, διετέλεσε υπουργός Δημόσιας Τάξης και με απόφασή του οδηγήθηκαν στην πυρά οι φάκελοι κοινωνικών φρονημάτων της μεταπολεμικής περιόδου, ενώ στην οικουμενική κυβέρνηση Ζολώτα, που σχηματίστηκε τον ίδιο χρόνο, ανέλαβε αναπληρωτής υπουργός Μεταφορών και Επικοινωνιών και η διαφωνία του με τις αποφάσεις για ανάθεση της προμήθειας των ψηφιακών παροχών του ΟΤΕ συνετέλεσε στην πρόωρη πτώση της κυβέρνησης συνεργασίας.

Στην κυβέρνηση Μητσοτάκη, που ακολούθησε, ανέλαβε υπουργός Τουρισμού και άνευ χαρτοφυλακίου, με αρμοδιότητα τα θέματα της Κρήτης. Στις 2 Σεπτεμβρίου 1991 παραιτήθηκε από υπουργός Τουρισμού -κατά την κυβέρνηση υπήρξε αποπομπή του από τον πρωθυπουργό Κ. Μητσοτάκη- γιατί, σύμφωνα με δηλώσεις του, δεν θέλησε να συνεργήσει στην εξυπηρέτηση άνομων συμφερόντων που θα κατέστρεφαν το φυσικό και πολιτιστικό περιβάλλον της χώρας. Επανήλθε στο κυβερνητικό σχήμα, τον Δεκέμβριο του 1992 ως υπουργός Εσωτερικών.

Το Φεβρουάριο του 2006 ο πρωθυπουργός Κώστας Καραμανλής τον τοποθέτησε ειδικό σύμβουλό του και στις εκλογές του 2007 σταμάτησε να πολιτεύεται, καθώς την έδρα στο νομό Ρεθύμνης διεκδίκησε η θυγατέρα του Όλγα Κεφαλογιάννη.

Το Σεπτέμβριο του 2008 καταδικάστηκε σε φυλάκιση 12 μηνών με αναστολή για απόπειρα υπόθαλψης εγκληματία και ψευδορκία, επειδή είχε ζητήσει από αστυνομικό να αλλάξει προς το ευνοϊκότερο την κατάθεσή του σχετικά με κατηγορούμενο για εμπορία ναρκωτικών, ο οποίος τελικά καταδικάστηκε. Μετά την απόφαση, το γραφείο Τύπου του πρωθυπουργού ανακοίνωσε ότι δεν θα ασκεί τα καθήκοντα του άτυπου συμβούλου έως ότου ολοκληρωθεί η διαδικασία στο Εφετείο.

Τον Δεκέμβριο του 2008, καταδικάστηκε σε δεύτερο βαθμό από το Τριμελές Πλημμελειοδικείο Ρεθύμνου για το ίδιο αδίκημα σε ποινή φυλάκισης πέντε μηνών με τριετή αναστολή.

Ήταν παντρεμένος με την Ελένη Βαρδινογιάννη, με την οποία απέκτησαν τρεις κόρες.

Ο πρόεδρος της Βουλής, Φίλιππος Πετσάλνικος δήλωσε: «Εκφράζω την λύπη μου για την απώλεια του Ιωάννη Κεφαλογιάννη, κορυφαίου στελέχους της Νέας Δημοκρατίας. Ο Ιωάννης Κεφαλογιάννης υπήρξε ένας πολιτικός με έντονη αντιστασιακή δράση τόσο την περίοδο της Κατοχής της χώρας μας από τους Γερμανούς, όσο και την περίοδο της Δικτατορίας των συνταγματαρχών.

»Στην πολιτική του διαδρομή υπερασπίστηκε με πάθος και ένταση τις απόψεις του και υπηρέτησε την κοινοβουλευτική Δημοκρατία επί δεκαετίες, τιμώντας την εμπιστοσύνη των συμπατριωτών του για 14 θητείες στο Κοινοβούλιο. Τα θερμά μου συλλυπητήρια στους οικείους του».

Ο πρόεδρος της ΝΔ Αντώνης Σαμαράς δήλωσε: «Ένας γενναίος και ασυμβίβαστος της πολιτικής έφυγε από κοντά μας. Ο Γιάννης Κεφαλογιάννης, αγωνιστής της εθνικής αντίστασης, αλλά και της αντιδικτατορικής πάλης δεν είναι πια μαζί μας.

» Η Παράταξη, την οποία τίμησε με την προσφορά του, ως βουλευτής, αλλά και ως υπουργός, είναι σήμερα συγκλονισμένη. Εκφράζω τη βαθύτατη θλίψη μου και στην οικογένειά του τα πιο ειλικρινή συλλυπητήριά μου.»

Ο πρόεδρος του ΛΑΟΣ Γιώργος Καρατζαφέρης δήλωσε: «Ένας ευπατρίδης της πολιτικής, ένας γνήσιος αγωνιστής που υπηρέτησε πιστά την πατρίδα και την παράταξη έφυγε από κοντά μας. Με τους αγώνες του σφράγισε την πολιτική ζωή του τόπου. Η πατρίδα είναι από σήμερα πιο φτωχή. Στην οικογένειά του εκφράζω τα ειλικρινή μου συλλυπητήρια.»

Η πρόεδρος της Δημοκρατικής Συμμαχίας Ντόρα Μπακογιάννη τόνισε: «Ο Γιάννης Κεφαλογιάννης, αγωνίσθηκε με επιμονή για τα πιστεύω του. Εκπροσώπησε την Κρήτη και το Ρέθυμνο για πολλά χρόνια με συνέπεια, δουλεύοντας για την προκοπή του τόπου. Εκφράζω στην οικογένειά του τα θερμά μου συλλυπητήρια».