Die Frage nach der Anzahl der Neuronen im Hidden Layer ist eine schwierig zu beantwortende Frage. Hier hilft nur Erfahrung oder Ausprobieren. Wählen wir im Hidden Layer zu wenige Neuronen kann das Netz vielleicht die Aufgabe nicht lernen und es kommt Müll heraus. Wählen wir zu viele Neuronen generalisiert das Netz schlecht oder gar nicht und lernt nur auswendig. Es gibt lange Lernzeiten und viele Nebenminima.
Am Besten fährt man, indem man am Anfang wenige Neuronen nimmt und nach und nach Neurone hinzufügt. Bei wenigen Neuronen stellt sich der Misserfolg schon nach kurzer Rechenzeit ein, so dass man schnell reagieren kann.