Бить на треугольники и работать с каждым отдельно. Возможно оптимизации типа проверки попадания в объемлющий прямоугольник, окружность и т.п. А про интегралы -- по второй ссылке (я ниасилил): http://algolist.manual.ru/maths/geom/polygon/
https://habrahabr.ru/post/125356/