Сворачивание клавиатуры EditText в recyclerview

У меня создан recyclerview в котором несколько EditText, при изменении одного EditText по заданному правилу изменяются все другие через onTextChanged.

Собственно сама проблема: Клавиатура установлена как . После выбора одного из EditText или ввода в него, клавиатура развернута. Если в этот момент совершить прокрутку и выбранный ранее EditText пропадает из области отрисовки, вместо открытой number клавиатуры появляется буквенная, если прокрутить обратно и тот самый EditText снова отрисуется, клавиатура number вернется.

Получается чтобы избежать такого поведения, нужно чтобы при изменении отрисовки recyclerview клавиатура сворачивалась? На сколько я понял, в адаптере за это отвечает onBindViewHolder? Пока-что не удалось скрыть клавиатуру оттуда, пожалуйста помогите.

Получилось скрыть через onFocusChange, но после первого же ввода в EditText клавиатура тоже сворачивается, т.е. не вариант как я понимаю в данном случае...