варианты - 1.есть подозрение, что линия от разъёма до антенны получилась не 50 Ом. или полтинник, но с существенной реактивной составляющей. вместо антенны запаять 50 Ом и смотреть анализатором.
2.наличие полигона под линией оч.сильно влияет. если он есть, то д.б. землёй, и ширина линии посчитана с учетом земли под линией. зазор в верхнем слое от линии до земли тоже влияет. у антенн свои особенности с землёй под ними, которые учитываются по аппнотам от производителя.
3.если зазор в верхнем слое от линии до земли меньше 3-х ширин линии, то края земли со с стороны линии пробивают виашками по длине линии на земляной полигон. или совсем удаляют землю сверху, оставляя только нижний сплошной полигон под линией. часто эти особенности видны по кит'ам от производителей.