На 5 полках шкафа расставлены 160 книг, на одной из них-3

Помоему, задача эквивалентна следующей. Вместо полок добавим к книгам 4 одинаковых доски-"разделителя" (т. е. вместо шкафа мы получили одну длинную полку с пятью секциями "регулируемой" от 0 до 20 длины) и будем "тасовать" книги вместе с "разделителями". Получим 24! способов. Но, поскольку "разделители" между собой не различаются и их перестановки между собой учитывать не следует, получим 24! / 4! способов.