Какое число является результатом выражения mod(-7,87), mod(10,99), mod(-7,-13)?

Судя по названию функций, речь идет об операции деления по модулю (остаток от деления, она обозначается как %).
По условию задания не очевидно, что является делителем, а что делимым, поэтому в решении будут рассмотрены оба варианта.

Немного теории. Если a делимое и b делитель, то существуют единственные q и r, такие что:
a = b * q + r; где a, b, q, r  - целые числа, и b не равно 0, 0 <= r < |b|.
То есть, если мы подобрали такие q и r, что выполняется условие, то это значит что они единственные и верные.

Вначале будет рассмотрен вариант, где второй аргумент функции делится на первый аргумент функции.

mod(-7,87) = 87 % (-7) = 3 . Проверка: 87 = (-7)*q + r = (-7)*(-12) + 3.
mod(10,99) = 9. Проверка: 99 = 10 * 9 + 9.
mod(-7,-13) = 1. Проверка: -13 = (-7) * q + r = (-7)*2 + 1.

Далее рассматривается вариант, когда первый аргумент функции делится на второй аргумент.
a = b * q + r.

mod(-7,87) = -7 % 87 = 80. Проверка: -7 = 87 * (-1) + 80.
mod(10,99) = 10. Проверка: 10 = 99 * 0 + 10.
mod(-7,-13)=-7 % - 13 = 6. Проверка: -7 = -13 * 1 + 6.

П.С. На калькуляторы в Интернете не ориентируйтесь, они не корректно обрабатывают такие выражения.