Ο Κώστας Βουτσάς είχε μεγάλη αδυναμία στις γυναίκες και αυτό ήταν κάτι το οποίο ο ίδιος δεν έκρυψε ποτέ.
Από τις πρώτες σχέσεις του που έγιναν γνωστές ήταν αυτή με την ηθοποιό Αλέκα Στρατηγού η οποία, ωστόσο, έγινε παρελθόν από τη στιγμή που ο Κώστας Βουτσάς γνώρισε και ερωτεύτηκε παράφορα την πληθωρική Σπεράντζα Βρανά, το καλοκαίρι του 1959, στο Θέατρο Ακροπόλ. Η ίδια είχε εξομολογηθεί στην αυτοβιογραφία της πως αρχικά δεν ήταν ερωτευμένη μαζί του αλλά θέλησε να εκδικηθεί την Στέλλα Στρατηγού επειδή υποψιαζόταν πως φλέρταρε με τον πρώην σύντροφό της. Η σχέση τους λοιπόν ξεκίνησε ως παράνομη αλλά ο Βουτσάς εγκατέλειψε την Στρατηγού και ζήτησε από την Βρανά να τον παντρευτεί. Εκείνη δεν είχε πεισθεί πως την ήθελε πραγματικά και πως δεν την εκμεταλλευόταν για επαγγελματικούς λόγους.
Ο έρωτας τους υπήρξε εκρηκτικός, συνοδεύτηκε από μπόλικους καυγάδες και επισφραγίστηκε με αρραβώνα την άνοιξη του ’61. Ούτε η επισημοποίηση όμως έφερε την ηρεμία. Οι σκηνές ζηλοτυπίες συνεχίζονταν ακάθεκτες και από τις δύο πλευρές, χώριζαν συνέχεια και λίγο μετά τα ξανάβρισκαν. Ένα βράδυ μάλιστα, λίγο μετά από έναν ακόμη μεγάλη καυγά, εκείνος πήγε μεθυσμένος έξω από το σπίτι της και την παρακαλούσε να τον δεχθεί πίσω. Οι ίδιες σκηνές επαναλαμβάνονταν επί 4,5 ολόκληρα χρόνια κι ενώ είχαν πλέον αποφασίσει να παντρευτούν η Σπεράντζα τα διάλυσε όλα καθώς δεν ήθελε σε καμία περίπτωση να εγκαταλείψει το θέατρο όπως απαιτούσε ο αγαπημένος της.
Αμέσως μετά ήρθε στη ζωή του η πανέμορφη χορεύτρια και ηθοποιός Έρρικα Μπρόγιερ που υπήρξε και η πρώτη σύζυγός τους. Ο έρωτάς τους ολοκληρώθηκε με τη γέννηση της κόρης τους Σάντρας.
Οι δυο τους παρέμεναν αγαπημένοι μέχρι το τέλος. Ακολούθησαν δύο ακόμη γάμοι, με την Θεανώ Παπασπύρου με την οποία απέκτησε δύο ακόμη κόρες, την Θεοδώρα και την Νικολέτα και με το πρώην μοντέλο – ηθοποιό Εύη Καραγιάννη της οποίας τον γιο, επίσης ηθοποιό, Άνθιμο μεγάλωσε σαν δικό του παιδί.
Το 2015 ο Κώστας Βουτσάς ερωτεύτηκε ξανά, μια γυναίκα πολύ νεώτερή του, την ηθοποιό Αλίκη Κατσαβού. Οι δυο τους παντρεύτηκαν το 2016 ενώ λίγους μήνες αργότερα υποδέχτηκαν στη ζωή τους τον μικρό Φοίβο με τον οποίο ο ηθοποιός ήταν πραγματικά ξετρελαμένος.
Για χατίρι του εξάλλου, ήθελε να ζήσει όσο το δυνατόν περισσότερα χρόνια, για να τον δει να μεγαλώνει…