En los primeros dias de 1918 fue aceptado como candidato para recibir entrenamiento como oficial  en el Onceavo Regimiento de Infanteria Bavara, pero la guerra termino antes de que pudiera participar en combate. En 1919 entro como estudiante de agricultura en la universidad tecnica de Munich, graduandose en 1922.En Agosto de 1923 habiendo conocido a Ernst Rohm mas tarde organizador de las SA (Tropas de Asalto), se unio al partido Nacionalsocialista. Alli estaba para el 8 de Noviembre de 1923 cuando fue llamado a una cerveceria de Munich donde  recibieron la noticia de que Adolf Hitler se habia tomado el poder y detenido a los principales miembros del gobierno; de alli partieron hacia el cuartel general bavaro del ejercito aleman o Reichswehr, ocupando el edificio. 

A la mañana siguiente las fuerzas leales al gobierno tomaron por asalto la edificacion y alli termino la corta aventura, fueron apresados Hitler y Rohm, mas tarde este episodio se conoceria como el Putsch de Munich.
En 1924 fue nombrado secretario de Gregor Strasser, quien despues del Putsch habia quedado como lider de una de las alas del partido, en las cuales de habia escindido el Nacionalsocialista. A finales de 1924 Hitler fue librado y gracias a la escasa vision del primer ministro bavaro, al partido Nazi le fue levantada la prohibicion de ejercer; para principios de 1925 Strasser y todos su partidarios se unieron nuevamente al partido Nazi. Himmler se fue convirtiendo poco a poco en un fiel subordinado de Hitler, ordenandosele mas tarde la creacion de las Schutzstaffel o SS , quienes restaurarian la Orden de los Caballeros Teutonicos, siendo Himmler su Gran Maestre. En 1925 ya estaba juzgando escritores, oradores o conocidos en lo que mas tarde se llamaria la cuestion judia. Anunciando su intencion de publicar, como un servicio publico, los nombres de los judios y amigos de ellos que residian en Baviera Inferior; ya se perfilaba en el, el fanatico que despues llevaria a las camaras de gas a 10.000.000 de personas por ser o parecer judios.

En uno de sus frecuentes viajes por Baviera conocio a Margarete Boden, quien compartia con el sus mismos intereses por la frugalidad, el campesinado, la agricultura y la inflexible rutina, casandose en 1928, naciendo su unica hija Gudrun en 1929. El 6 de Enero de 1929 como premio a su lealtad y dedicacion al Partido, Hitler lo designo Reichsführer o comandante nacional de las SS. Ello le dio nuevo impulso para empezar a crear su sueño anhelado de la nueva raza que seria dueña de Europa y luego del mundo. La idea de que la raza germanica habia sido dotada con una inherente superioridad, que contrastaba con la debilidad de razas como la eslava, latina y judia habia tenido su inspirador en Alfred Rosenberg, quien en 1923 fue nombrado por Hitler director del periodico del Partido.

En 1933 Himmler inicio su campaña para ir consiguiendo el poder dentro del circulo interior de Hitler, para ello designo a 120 hombres al mando de Josef Sepp Dietrich, quien luego seria comandante de la Panzerdivisionen Leibstandarte Adolf Hitler, como encargado de la guardia personal del mismo. En 1934 debido a los persistentes problemas que se le presentaban a Hitler para controlar a Rohm y sus SA, Himmler encontro un aliado en Hermann Goering quien habia creado en Prusia la Geheime Staatspolizei o Gestapo, siendo encargado de la misma, con lo cual se convirtio en jefe de la policia politica de toda Alemania. Himmler y Goering se dedicaron a planificar la destruccion de las SA y su lider, fueron compilando listas de adherentes por toda Alemania y el 28 de Junio de 1934 Hitler en persona arresto a Rohm; por toda Alemania se desato la caceria que fue conocida como la Noche de los Cuchillos Largos, durante dos dias hombres de las SS arrestaron y asesinaron a mas de 200 personas que de alguna manera podian significar algun peligro para Hitler o Himmler. El 20 de Julio Hitler premio por su lealtad a las SS promocionandolas como organizacion independiente. En 1935 las SS habian crecido de tal manera que contaban con 200.000 hombres dentro de sus filas. En 1936 la Gestapo era una policia de seguridad nacional, con poderes independientes de cualquier supervision juridica.