Il 2 gennaio 533 fu eletto al soglio pontificio «un candidato di compromesso», Mercurio, un anziano sacerdote della basilica di San Clemente al Laterano; poiché si chiamava Mercurio, avendo cioè il nome di una divinità pagana, lo cambiò in quello di Giovanni, assumendo il nome di un suo predecessore, papa Giovanni I. Fu il primo Papa a cambiare il nome, fatto che divenne consuetudine a partire da Gregorio V (996-999).
Papa Giovanni era in buoni rapporti sia con l’ostrogoto re d’Italia Atalarico (526-534) che con l’imperatore d’Oriente Giustiniano (527-565): proprio al rapporto tra papa Giovanni II e l’imperatore Giustiniano è legato l’episodio più significativo di questo pontificato.
Un decreto di Giustiniano riconosceva la dottrina dei primi quattro concili universali: il primo Concilio di Nicea (325), il primo Concilio di Costantinopoli (381), il Concilio di Efeso (431) e il Concilio di Calcedonia (451). Ma il decreto includeva una formula dogmatica suscettibile di interpretazioni, che per esempio papa Ormisda aveva rifiutato: «Uno della Trinità ha sofferto nella carne». A Giustiniano il riconoscimento pontificio della formula interessava particolarmente per conquistare a sé, alla Chiesa, ma soprattutto all’unità dell’impero, i seguaci di una dottrina molto diffusa in Oriente, il monofisismo. Tale dottrina si opponeva al concilio calcedonese affermando che vi fosse una sola natura in Cristo, mentre secondo Calcedonia vi erano due nature in Cristo.
I monaci orientali Acemeti - dal greco akoìmetos, insonne - di Costantinopoli, grandi sostenitori dell’ortodossia calcedonese, si appellarono al Papa contro la formula dogmatica: Giovanni cercò di convincerli ad abbandonare la propria posizione ma, di fronte al loro rifiuto, li scomunicò. Il Papa scrisse all’imperatore dichiarando ortodosso il suo decreto. E Giustiniano ne fu felicissimo, inserendo nel proprio Codex sia la sua lettera che la risposta del Papa. Giovanni II muore l’8 maggio 535.