W wyniku zaistniałego sporu Herzstark trafił do Buchenwaldu.
Więzienie i obóz koncentracyjny Buchenwald Oskarżony o wspieranie Żydów i elementów wywrotowych, a także o niemoralny związek z aryjską kobietą, Herzstark został aresztowany. Po aresztowaniu został osadzony w więzieniu dla Żydów w Wiedniu, a następnie deportowany do więzienia Pankrác w Pradze, gdzie musiał dzielić celę z 50 innymi więźniami bez łóżek i z torturami na porządku dziennym. W Buchenwaldzie trafił do fabryki nazwanej na cześć Wilhelma Gustloffa, połączonej z obozem, w której pracowano nad tajnymi projektami wojskowymi. Raporty armii o precyzji produkcji firmy „Austria”, a zwłaszcza o technicznej wiedzy Herzstarka, skłoniły nazistów do traktowania go jako „niewolnika-inteligenta” (intelligence-slave), dzięki czemu przysługiwała mu pewna ochrona. Inżynier zarządzający uczynił Herzstarka odpowiedzialnym za części precyzyjne, które miały być wykorzystane do wystrzelenia rakiet balistycznych w Peenemünde. Przez następne dwa lata tworzył komponenty do rakiet V2.
Początkowo uważany przez współwięźniów za szpiega, z czasem zdobył ich przychylność. Hertzstark podał przykład umierającego prawnika, którego zabrał do fabryki na stworzone przez siebie stanowisko inspektora, posadził z mikrometrem, a w razie kontroli kaszlał, by tamten udawał zapracowanego.