Функция r[i+1]=(r[i]*A+C)(mod M), найти А, С, М, для известн. r1..r6.

В общем случае будет достаточно 5 чисел.

Сначала явно расписываем:
d2 = (d1*A+C) mod M
d3 = (d2*A+C) mod M
d4 = (d3*A+C) mod M

Рассмотрим эти уравнения как систему уравнений по модулю M с неизвестными A и C.
Так эта (переопределенная) система имеет решение, то определитель матрицы
( d1 1 d2 )
( d2 1 d3 )
( d3 1 d4 )
должен быть равен 0 по модулю M. Другими словами, M является делителем определителя этой матрицы, который равен
D = d1*d4 + d3^2 + d2^2 - d2*d3 - d2*d4 - d1*d3

Пробуем в качестве M различные делители D. При известном значении M, мы легко решаем систему уравнений отностильно A и C. Чтобы установить истинное значение, используем d5 для проверки равенства:
d5 = (d4*A+C) mod M.
В большинстве случаев этой проверки будет достаточно, чтобы установить значение M (а значит, также и A, C) однозначно. Если же этой проверки все-таки недостаточно, то проверяем с помощью d6,d7 и т.д.

.

Цитата

rich писал(а) :
"При известном значении M, мы легко решаем систему уравнений отностильно A и C"
К сожалению, я не силён в модулярной арифметике, может быть подскажете
ещё как решить систему с модулем?

Почитайте эти лекции по теории чисел. Особенно "§4. Теория сравнений".

Цитата

rich писал(а) :
в качестве М можно взять собственно определитель D.

Для рассмтриваемой системы - да, но M должно также удовлетворять следующим соотношениям для d5,d6,...

Цитата

rich писал(а) :
Скажите плиз, на каком основании вы сделали вывод, что система
всегда имеет решение(очень приятное свойтсво для моей задачи).

На основании того, что d1,d2,d3,... являются выходом линейного конгруэнтного генератора. Если же взять произвольные числа, то система может и не иметь решений, но при этом в большинстве случаев неразрешимость также можно будет установить по первым 5 числам.