Какой многоугольник имеет 17 диагоналей, какой 20? по какой формуле это можно рассчитать? !

Если принять что многоугольники выпуклые, то тогда задачу можно решать, если считать что многоугольники могут быть не только выпуклые, то кол-во решений может быть бесконечно.
Итак если многоугольники выпуклые, то
подсчитывается колво диагоналей для таких многоугольников как 
Где n -кол-во вершин в многоугольнике.

Подставляем и находим что 14 диагоналей имеет 7ми угольник, а 20 диагоналей имеет 8ми угольник

Формула 180(n-2) н- количество вершин. мы подставляем и получаем что 14 диагоналей-7ми угольник а 20- 8ми угольник