Après une licence en lettres, M. Zeidan a rejoint le corps diplomatique libyen en 1975. A la fin des années 1970, il est nommé à l'ambassade de Libye en Inde aux côtés de Mohamed Al-Megaryef, qui était ambassadeur, aujourd'hui président du Congrès général national (CGN), la plus haute autorité politique du pays. "La sécurité sera ma principale priorité, car tous les problèmes que rencontre la Libye viennent de là", a expliqué le nouveau premier ministre. Il a annoncé qu'il formerait "un gouvernement d'urgence pour résoudre les crises que traverse actuellement le pays". Il s'est également dit prêt à prendre en compte les positions du Parti de la justice et de la construction (PJD), la branche politique libyenne des Frères musulmans.

"L'Islam est notre système de croyance et la source de notre jurisprudence", a affirmé Ali Zeidan, s'engageant à se conformer à la 'charia', le droit musulman. L'ancien premier ministre Moustapha Abou Chagour, tout juste élu, a été démis de ses fonctions, le 7 octobre, après que l'Assemblée nationale libyenne a rejeté la composition d'un nouveau gouvernement.

Au début des années 1980, M. Zeidan, tout comme M. Megaryef, démissionne de son poste et rejoint l'opposition en exil contre le régime Mouammar Kadhafi, sous la bannière du Front national du salut libyen (FNSL) qui réunissait les opposants libyens à l'étranger. Durant ses années d'exil, il a vécu notamment en Allemagne, avant de quitter le FNSL pour se consacrer depuis Genève à la défense des droits de l'homme en Libye.

Après le déclenchement de la révolte en Libye au début de 2011, M. Zeidan a joué un grand rôle, aux côté du libéral Mahmoud Djibril, pour faire reconnaître le Conseil national de transition (CNT), bras politique de la rébellion, par les capitales occidentales, et particulièrement par Paris. Nommé représentant du CNT en France et en Europe, M. Zeidan a contribué aux efforts diplomatiques de la rébellion pour convaincre la communauté internationale d'une intervention militaire pour protéger les civils. Lors des premières élections libres dans l'histoire du pays, le 7 juillet 2012, il avait été élu membre du CGN. M. Zeidan, qui se présente comme indépendant mais qui est considéré comme proche de l'Alliance des forces nationales (AFN, libérale) de Mahmoud Djibril, a abandonné son siège en milieu de semaine pour pouvoir se porter candidat au poste de premier ministre.

Avec AFP