En 1936 la Marina Alemana Kriegsmarine solicito a Arado y Focke-Wulf el diseño de un hidroplano destinado a reemplazar en los navios de la nueva flota de guerra alemana al He 60,  su papel principal era el de reconocimineto de corto alcance, patrulla costera, rescate de aviadores caidos en el mar y apoyo cercano para las fuerzas de tierra, sin embargo para 1936  ya no cumplia las especificaciones para poder competir en la guerra moderna.  En 1936 se invito a Heinkel a desarrollar un prototipo destiando a reemplazar el He 60, dando como resultado el He 114, sin embargo el mismo presento unas caracteristicas muy deficientes, despues de multiples pruebas se decidio solicitar a Arado y Focke Wulf la presentacion de prototipos. 

Arado presento un monoplano de ala baja, la Marina de Guerra Alemana Kriegsmarine y el Ministerio del Aire Aleman aceptaron que el nuevo avion fuera implusado por el BMW 132K radial de nuevo cilindros y 960 hp de potencia. El Arado estaba construido totalmente de metal, con fuselaje de seccion rectangular, construidode tubo de acero; las alas eran de dble larguero con cubierta metalica. Se solicito a Arado la construccion de cuatro prototipos Ar 196 V1 a V2 con dos flotadores y V3 a V4 con un solo flotador central. El nuevo avion se utilizaria como plataforma de reconocimiento en los nuevos acorazados de bolsillo Bismarck y Tirpitz, ademas de los cruceros de batalla y otros componentes de la flota. Todos los ejemplares de preserie fueron sometidos a pruebas en Travemünde, decidiendose finalmente la fabricacion de 10 prototipos de la version con dos flotadores para Noviembre de 1938. 

El primer prototipo dotado de armamento fue el V4 con dos cañones de 20mm MG FF en las alas, mas una ametralladora de 7,92mm en la parte trasera y capacidad para dos bombas SC 50 debajo de las alas. Los prototipos iniciales Ar 196 V1, V2, V3 y V4 estaban equipados con el motor radial BMW 132K de 960 hp, ala baja, dos flotadores, cabina para dos tripulantes, dos cañones alares de 20mm MG FF, una MG 17 de 7,92mm en la parte trasera. El combustible se transportaba en dos tanques colocados en los flotadores, con una capacidad de 300 litros cada uno. Los primeros 20 ejemplares fueron entregados en Junio de 1939 y demostro unas cualidades excepcionles, siendo asignado en primer lugar al acorazado de bolsillo Admiral Graf Spee. En Noviembre de 1939 se puso punto  la version Arado Ar 196A-2 la cual fue asignada a labores de reconocimiento maritimo sobre las costas del mar Baltico y del Norte.
En 1940 se produjeron 92 Ar 196A en sus varias versiones. Para  1941 la fabrica desarrollo la version Ar-196A-3 de la cual se fabricaron 98 ejemplares, en ellos ya se incluian 24 Arado Ar 196 V4 donde se volvio a adoptar el armamento trasero y se lo doto con equipo de radio; en Mayo de 1941 durante la persecucion del Bismarck este utilizo su Ar 196 A-4 para destruir el avion catalina de la RAF que finalmente dirigio a los Swordfish que torpedearon mas tarde al acorazado, en total se producirian 541 unidades, terminando la misma en Marzo de 1944. 

Entre 1940 y 1941 se construyeron algunos Ar 196B con flotador central, siendo asignados a la Bordfliegerstaffel 1/196 en Wilhelmshaven. Por ultimo se construyo el Ar-196A-5 el cual tenia un montaje de dos  MG 81Z en la parte trasera con 2000 cartuchos, disparaba 1800 cartuchos por minuto por arma, contaba con equipo de radio, dos cañones de 20mm en las alas, en version antibuque cargaba dos SC 50 bajo las alas. Participo en los escenarios de Noruega, el Mediterraneo,sobre el Mar negro, en la bahia de Viscaya. Estuvo asignado a los Grupos SAGr 126 en Creta, SAGr 125 en el Baltico y SAGr 128 en el Mediterraneo. Algunos Ar 196 volaron con la fuerza aerea Rumana sobre el Mar Baltico y algunos otros con la Bulgara en el escuadron 161 de la guardia costera.