Urodził się w Łodzi w 1914 r. w katolickiej rodzinie jako Jan Rajmund Kozielewski. Nazwisko Karski, pod którym przeszedł do historii, było wojennym pseudonimem. Ukończył prawo i przygotowywał się do pracy w dyplomacji, gdy wybuchła wojna. We wrześniu 1939 r. walczył z Niemcami, ale dostał się do niewoli sowieckiej, z której udało mu się zbiec. Szybko znalazł kontakt z podziemiem i został skierowany do misji kurierskich. O tym przydziale zadecydowała jego biegła znajomość kilku języków oraz znakomita pamięć, której powierzał najważniejsze fakty ze swych raportów. Pierwszą misję odbył do Francji, do której dotarł przez Słowację, Węgry, Jugosławię. W czasie kolejnej szczęście go opuściło. Latem 1941 r. na Słowacji został aresztowany przez gestapo. Obawiając się, że biciem i torturami uda się śledczym wyciągnąć z niego tajemnice, próbował popełnić samobójstwo, podcinając sobie żyły. Niemcy umieścili go w szpitalu w Nowym Sączu, skąd odbił go oddział podziemia, powiązany z socjalistami, na rozkaz Józefa Cyrankiewicza.