Надо ли писать ъ и ь в данных словах? Почему? Сверх (?) мощный, четырёх (?) этажный, все (?) об (?) емлющий, с (?) экономить, без (?) облачный.

Сверхмощный, четырёхэтажный, всеобъемлющий, сэкономить, безоблачный.

Ъ пишется после приставок, оканчивающихся на согласный, перед буквами Е, Ё, Ю, Я, а также в сложных словах после первой части двух-, трех-, четырех - перед теми же гласными. Поэтому здесь Ъ только в слове "всеобъемлющий". Здесь иноязычная приставка ОБ, которая в русском языке слилась с корнем