De to diplomater ville ellers rejse til Zimbabwe for at skabe opmærksomhed omkring den humanitære krise, som Zimbabwe står i.
"Vi er blevet nødt til at aflyse vores rejse til Zimbabwe, fordi myndighederne har gjort det meget klart for os, at de ikke ønsker at samarbejde," siger Kofi Annan på en pressekonference i Johannesburg ifølge BBC.
Jimmy Carter og Kofi Annan skulle have været til Zimbabwe sammen med menneskerettighedsforkæmperen Graca Machel, der tidligere har været gift med Nelson Mandela.
De tre havde søgt om visum for et par uger siden, men nu står det klart, at myndighederne i Zimbabwe ikke ønsker de deres tilstedeværelse i landet.
Zimbabwe hærges i øjeblikket af en koleraepidemi, der indtil videre har kostet mindst 300 mennesker livet. Det vurderes at over 6.000 er smittet. Kolera er en smitsom mavetarmsygdom, der inden for få dage giver voldsom diarre.
Ifølge FN lever 80 procent af de 12 millioner indbyggere i Robert Mugabes styre i fattigdom.