Δούλευε σε εργοστάσιο υποδηματοποιίας, στου Μαυρίδη. Το 1966 ο Θεοδωράκης πρόκειται να δώσει συναυλία στη Μόσχα. Ο Μπιθικώτσης την τελευταία στιγμή δεν μπόρεσε να παέι. Σκέφτονται τον Πουλόπουλο, ούτε αυτός μπορούσε. Κάποιος προτείνει Καλογιάννη. Ο Καλογιάννης περνά από ακρόαση στο Δημοτικό Θέατρο του Πειραιά. Ο Μίκης τον ακούει και τον παίρνει αμέσως.
Αυτή η συναυλία στη Σοβιετική Ένωση μαζί με τη Φαραντούρη, ήταν η πρώτη επαγγελματική του εμφάνιση. Κατά τη δικτατορία των συνταγματαρχών φεύγει στο εξωτερικό με τη Μαρία Φαραντούρη και, δημιουργώντας μια λαϊκή ορχήστρα, ξεκινούν συναυλίες με καθαρά πολιτικό χαρακτήρα. Το 1970 αποφυλακίζεται ο Μίκης Θεοδωράκης και μαζί του θα δώσουν περισσότερες από 500 συναυλίες σε Ευρώπη, Αμερική και Αυστραλία, καταγγέλλοντας την αμερικανοκίνητη χούντα, γνωστοποιώντας σε όλο τον κόσμο τον αντιδικτατορικό αγώνα.
Όπως έγραψε ο Μίκης Θεοδωράκης, ο Α. Καλογιάννης σημάδεψε κυριολεκτικά το έργο του, δίνοντας μοναδικές ερμηνείες σε έργα όπως τα «Επιφάνια Αβέρωφ», το «Πνευματικό Εμβατήριο», η «Κατάσταση Πολιορκίας», ο «Ήλιος και Χρόνος», τα «Τραγούδια του Ανδρέα», τα «12 Λαϊκά», τα «Γράμματα απ’ τη Γερμανία» και σε τόσα άλλα τραγούδια…