Karl Rühmann verbrachte seine Kindheit in Jugoslawien. Als Jugendlicher wanderte er in die USA aus, kehrte jedoch nach einigen Jahren nach Europa zurück, um in Zagreb und Münster Germanistik, Hispanistik und Allgemeine Literaturwissenschaft zu studieren. Nach dem Studium war er zunächst als Sprachlehrer in der Schweiz und in Dänemark tätig, bevor er Ende der 1990er-Jahre in die Verlagsbranche wechselte.

2006 gründete er die Lizenzagentur "books&rights" sowie die Beratungsagentur "Plot & Story Rühmann". Zudem unterrichtete er Verlagskunde und Übersetzen an der SAL, der Schule für Angewandte Linguistik.

Karl Rühmann lebt in Zürich als freier Schriftsteller und Literaturübersetzer. Bis 2018 schrieb er vor allem Kinderbücher und Hörspiele; inzwischen widmet er sich überwiegend Romanen für Erwachsene. Sein Roman Der Held war nominiert für den Schweizer Buchpreis 2020. Zuletzt erschien Matija Katun und seine Söhne (2025; alle rüffer & rub).