Названия Босна (Босния) и боснийцы- етнически нейтральные. Боснийцы - ето просто жители Босны. Среды боснийцев есть сербы.
Боснийцы-мусульмане и "сербы-мусульмане" (жители Санджака) состоят в одном етносе. У етого етноса названия нет, и ето примерно показывает, что у людей обычно нужды в собственном етнониме не бывает. "Мусульмане" - ето не етноним: если спросите боснийца-мусульманина являются ли турки (примерно) мусульманами, ответ будет утвердительным. "Боснийцы" - тоже не годится для етнонима, так как жители Босны сербского етноса тоже являются боснийцами.
Почему большая часть боснийцев приняла Ислам?
Босна - удаленная горная страна.
Ислам на Балканы принесли османские турки в конце 14-го века.
В то время большая часть населения Босны уже выпала из християнства - они стали еретиками-масалианами (богомилами).
А такие еретики в Османской империи подлежали исламизации, добровольной или насильственной.