Отброс "назад" скорее всего связан с ValidatePostiion клиента, и в момент его выполнения при достаточной разнице в координатах клиента и сервера - происходит принудительная синхронизация. Добавьте логи в части запроса, где это происходит, и начните искать по какой причине задерживается расчет...