Nacido de inmigrantes judíos en Brooklyn como Daniel David Kaminski, el pelirojo Kaye llegó a ser uno de los cómicos más conocidos en el mundo. En 1941 apareció en la obra de Broadway "Lady in the Dark" y interpretó el famoso número "Tchaikovsky", por Kurt Weill e Ira Gershwin, en el cual cantaba una cadena de nombres de compositores rusos a una velocidad impresionante, dando la sensación de que prácticamente no respiraba.