Рассматривается значение как массив байт. Получаем 00 FF CE 87. Поскольку значение хранится в Little Endian, то читаем с права налево - 87CEFF.
rgb, C++ (gcc) - rextester - набросок, где разбирается это число.
Преобразования из HEX в десятичный вид, C++ (gcc) - rextester - набросок, где...