Jongkind naît en 1819 à Lattrop en Hollande, huitième enfant d'une famille de dix, il passera toute son enfance dans le port de Vlaardingen sur la Meuse, à l'ouest de Rotterdam, où son père est nommé percepteur.
En 1835, il quitte l'école et travaille comme clerc de notaire.

Après le décès de son père en 1836, qu'il vit comme une délivrance, il part pour La Haye suivre les cours de dessin de l'Académie des Arts avant d'étudier dans l'atelier du maître paysagiste Andréas Schelfhout (1837).
Jusqu'en 1845, il suivra une solide formation de peintre paysagiste dans la tradition hollandaise s'imprègnant des oeuvres des maîtres du Siècle d'or de la peinture hollandaise (17ème).
En ce début du 19ème siècle, les artistes néerlandais revisitent leur histoire et remettent au goût du jour la peinture des Vermeer, Backhuysen, Van der Neer, Van de Velde le Jeune... Jongkind peint sur le motif des ports, des bateaux, des moulins, des scènes d'hiver... de manière réaliste dans la continuité des naturalistes néerlandais.

Eugène Isabey, chef de file de l'école romantique française, le remarque lors d'un voyage aux Pays-Bas en 1845 et le ramène avec lui à Paris. Jongkind va y prendre ses distances avec l'académisme hollandais.
Il va travailler dans l'atelier d'Isabey, et étudier dans l'atelier de Picot. Il prendra également contact avec de nombreux peintres, en particulier ceux de l'Ecole de Barbizon.

Alors qu'on aurait pu s'attendre à ce qu'il peigne le Paris triomphant et monumental, celui des vastes horizons, Jongkind va porter un regard neuf sur Paris et s'attacher à peindre des moments de Paris pris sur le vif, des vues rapprochées avec un langage nouveau, une recherche et une rare maîtrise de la luminosité.

Jongkind met au point une manière de travailler novatrice : sur le terrain, il dessine de rapides croquis aquarellés où des touches de couleur permettent de saisir les impressions fugitives, qu'il annote éventuellement de précisions écrites. En atelier, il exécute, d'après ses croquis et ses souvenirs, des toiles plus construites. Il innove aussi en éclaircissant fortement sa palette et en introduisant des touches lumineuses  pour rendre les effets changeants (reflets, ciels...)

A la mort de sa mère en 1855, Jongkind retourne en Hollande à Rotterdam, où il reviendra à des paysages plus traditionnels. Il entretiendra jusqu'à son retour à Paris en avril 1860 une correspondance suivie avec son marchand de tableaux, le Père Martin. Jongkind envoie régulièrement des tableaux à Paris et, Martin procède à des envois réguliers de billets de 100 francs à Rotterdam.

En 1960, Jongkind revient donc vivre à Paris et habitera désormais en France jusqu'à la fin de ses jours. Il s'installe au 9 (devenu plus tard le 5) rue de Chevreuse à Paris, dans le quartier de Montparnasse, logement qu'il gardera jusqu'à sa mort.

En 1862, il fait la connaissance de Boudin et Monet, avec lesquels il peint au Havre. Monet écrira à propos de Jongkind qu'il fut après Boudin son maître et qu'il lui doit "l'éducation définitive de son oeil".

Cette période normande de Jongkind le situe comme le précurseur de l'impressionnisme qu'il restera pour l'histoire de l'art. Sa camaraderie avec Manet et Monet lors des séjours à la ferme Saint-Siméon à Honfleur, où ils fondent une école, justifient aussi ce titre, qu'il méritera tout autant lorsqu'il peint loin de la mer dans le Nivernais ou le Dauphiné.

En août 1873, Jongkind découvre le Dauphiné.  

En 1878, il vient habiter à La Côte-Saint-André pour y mener une existence paisible. Il produit, dans sa période dauphinoise, beaucoup d'aquarelles. Il n'est plus tenu à peindre sur commande, il est au contact des habitants et des paysans qu'il croque. Cependant, l’abus d’alcool et sa sensibilité exacerbée l'amènent à être interné à l'asile d'aliénés de Saint-Egrève, où il meurt le 9 février 1891.