Тут пугают "интегрирование угла", на самом деле это просто. Считаем вектора от точки до вершин. Суммируем разницы аргументов двух соседних векторов. Если результат равен 360, то внутри. Правда возникают сложности с конечной точностью вычислений, но это дело поправимое