Напомнило. В перцептроне если не обеспечить "забывание" происходит насыщение связей и он начинает козлить, а если обеспечить, то работает себе сколько хош. Это к вопросу о "невероятном" количестве информации. Когда делал диплом по распознаванию символов то по достижению одной из связей максимального веса (0xFFFF) просто сдвигал веса всех связей на один бит вправо :)