Mies verhuisde van Aken naar Berlijn, waar hij ging werken in het bureau van de architect en interieurdesigner Bruno Paul, die ook gebouwen voor de Werkbundtentoonstelling van 1914 ontworpen had. Van 1908 tot 1912 was hij in dienst van het bureau van Behrens, waar in die periode ook Walter Gropius en Le Corbusier waren. Hij leidde de bouw van de ambassade van het Duitse Rijk in Sint-Petersburg onder Behrens.
Rond 1921 veranderde Mies zijn achternaam, door er de meisjesnaam van zijn moeder met de toevoeging ‘van der’ aan toe te voegen: ‘Mies van der Rohe’.
Op een oproep om de eerste Berlijnse wolkenkrabber te ontwerpen op een driehoekig pand dat begrensd is door de rivier de Spree, de drukke winkelstraat Friedrichstrasse en het treinstation, kwamen 140 inzendignen, waaronder dat van Ludwig Mies van der Rohe. Mies was gefascineerd door de Amerikaanse wolkenkrabbers, vooral wanneer er tijdens de opbouw enkel het metalen skelet stond. Nadien werden er grote ramen maar toch ook een stenen opvulling in die gevels aangebracht. Mies wou de gevels helemaal in glas maken, zodat de uitduiding van de verdiepingen ontbreekt. Het driehoekig grondplan vertrekt van de omgeving en de functies, met de circulatie in het midden. Maar de vorm met de punten en de insprongen wijst duidelijk meer naar de fantastische en kristalijne visies van de expressionistische architecten. Hierbij wou Mies ook de reflecterende eigenschappen van het spiegelglas, het symbool van zuiverheid en vernieuwing, bestuderen.