En 1541, Cartier jette l’ancre au cap Rouge, près de l’actuelle ville de Québec, et y fonde Charlesbourg-Royal. Cet emplacement stratégique, dominant le fleuve Saint-Laurent et voisin du village iroquoien de Stadaconé, semble idéal pour établir une colonie durable.
Dès son arrivée, selon les récits historiques, Cartier supervise la construction de deux forts :
- Un fort d’en haut, situé sur la falaise pour assurer une protection optimale ;
- Un fort d’en bas, proche du fleuve, facilitant l’accès aux ressources et favorisant les échanges.
En juin 1542, en raison des tensions avec les Autochtones, de l’hiver difficile et de l’absence de Roberval, Jacques Cartier abandonne la colonie de Charlesbourg-Royal et lève les voiles vers la France. En chemin, il croise Roberval au large de Terre-Neuve, mais refuse de retourner au site de la colonie. Convaincu d’avoir découvert de l’or et des diamants, il rapporte en France une cargaison de minéraux, qui s’avèrent être de la pyrite de fer et du quartz sans valeur. Ce fiasco est à l’origine de l’expression « faux comme un diamant du Canada ».