Xavier Zevaco grandit à Paris au pied de la rue Mouffetard dans une famille aisée où plane l'ombre de son oncle l'écrivain Michel Zevaco, anarchiste de première heure qui alla jusqu'à provoquer le ministre de l'intérieur en duel. La famille est catholique mais lui n'est pas croyant. Il dira simplement qu'il ne lui est pas nécessaire « de croire pour chercher et travailler mais espère secrètement qu’un ailleurs existe. Que le fait de peindre est une façon de laisser une trace après sa mort, donc une recherche intellectuelle tant que spirituelle. » Il disait : « Vivre dix minutes après ma mort ». À partir de 1940 il est scolarisé au lycée Louis-le-Grand puis intègre le lycée Henri-IV, où règne une grande liberté d'expression. C'est dans ce lycée prestigieux qu'il a la chance d'avoir Georges Pompidou comme professeur de lettres et fait son portrait en fin d'année scolaire que celui-ci achètera. Georges Pompidou écrira sur le livre d'or d'une des premières expositions de Xavier Zevaco « À Zevaco, tel qu'en moi-même je me retrouve ». Lors de ses week-ends à la campagne dans la maison familiale des Yvelines, il s'entraîne déjà à peindre avec un de ses amis, Claude Aubry, fils du galeriste dont les locaux se situent à l'époque rue de Seine. Quand ils n'ont plus de toile à leur disposition, ils leur arrive de peindre sur l'envers des Pascine ! Il entre aux Arts Décoratifs en 1943, où il obtient la meilleure note des postulants. À la fin de son cycle, en 1947, et grâce à la bourse d'étude acquise car sorti major de sa promotion, il passe un an aux Beaux-Arts d'Amsterdam. Il en profite pour visiter l'Allemagne et la Pologne, ravagées ... À son retour en France, d'abord décorateur d'intérieur, il abandonne cette voie pour la publicité auprès de laboratoires pharmaceutiques puis devient maquettiste à Uni France Film et auprès de divers éditeurs, notamment Belfond.