Nato a Strasburgo da madre alsaziana e padre tedesco, usò per tutta la vita due nomi: quello tedesco di Hans e quello francese di Jean, alternandoli in base alla lingua o alle varie circostanze in cui gli capitava di riferirsi a se stesso. La sua fama è legata al superamento delle forme tradizionali dell‘arte figurativa, e alla scoperta di forme nuove, che vanno dai collages ai papiers déchirés, ai frammenti di materiali vari uniti insieme.
La sua attività si colloca al centro di quella vasta corrente dell‘arte moderna che, dal cubismo al surrealismo, si pose come compito non di rappresentare la realtà ma di inventare nuove realtà.
Formatosi alla Ecole des Arts et Métiers di Strasburgo, poi, fra il 1905 e il 1907, alla Kunstschule di Weimar e infine, dal 1908, all‘Académie Julian di Parigi. Pubblicò le sue prime poesie nel 1904 a Parigi. Nel 1911 uscì un suo libro a carattere intimistico (Rune e scritti bizzarri): nello stesso anno partecipò alla seconda esposizione del movimento del Blaue Reiter e due anni dopo entrò in contatto con l‘avanguardia parigina.