Выделение тренда из зашумленного ряда

Автор темы tvojdrug 
ОбъявленияПоследний пост
ОбъявлениеРаботодателям и кадровым агентствам: Размещение вакансий и рекламы в форуме26.03.2008 03:07
ОбъявлениеПравила и принципы форума «Высшая математика»28.10.2009 15:17
ОбъявлениеАмерикансий Математик Даниэль Вайс стал лауреатом премии имени Лобачевского04.09.2019 10:53
18.06.2015 11:52
Выделение тренда из зашумленного ряда
Добрый день Господа математики) у меня возник вопрос но я не могу его решить без наставления или совета со стороны знающих людей. Подскажите пожалуйста каким образом бы я мог выделить тренд из зашумленного ряда? Если возможно то приведите пожалуйста и литературу с примерами. Ссылка на пример зашумленного ряда дана внизу.
https://yadi.sk/i/wrpl97rshKXcd
Заранее спасибо, тем кто откликнулся.
18.06.2015 14:25
хм
а что для вас тренд?
18.06.2015 14:36
zklb (Дмитрий)
я не знаю как это сказать коротко и грамотно, но здесь меня интересует кривая которая получится в результате удаления шумовой компоненты. интуитивно я бы мог провести её посередине данного ряда с учетом всех падений и подъемов.
18.06.2015 14:42
//
здесь и невооруженным глазом видно - два раза применить усреднение - первый - с периодом (скользящим окном) - 1-ни сутки, второй - неделя самый раз будет...
18.06.2015 14:49
alexo2
хорошо спасибо. судя по всему речь идет о скользящем среднем если я не ошибаюсь. да, но есть и другие случаи, например
https://yadi.sk/i/NHl7oYbzhKnpb
18.06.2015 14:58
..
Цитата
tvojdrug
хорошо спасибо. судя по всему речь идет о скользящем среднем если я не ошибаюсь. да, но есть и другие случаи, например
https://yadi.sk/i/NHl7oYbzhKnpb

а всего-то отличий - сначала все по тем же суткам пробежаться, а дальше глянуть - какой следующий период назначить
18.06.2015 15:04
alexo2
очень хорошо, очень интересно я обязательно попробую, благодарю. а есть ли еще какие-либо мысли?
18.06.2015 18:32
Есть такая теория
Цитата
tvojdrug
... а есть ли еще какие-либо мысли?

Задачи такого типа относятся к теории фильтрации (экстраполяции, интерполяции...). Для начала ознакомьтесь с методами линейной фильтрации (фильтры Калмана, ...Винера ). Идеи прекрасно описаны в книге Дж. Медича.
19.06.2015 10:02
yog-urt
Дж. Медич "Статистически оптимальные линейные оценки и управления" как-то так называется не так ли? отлично благодарю я возьмусь за неё!
19.06.2015 10:08
по материалам
должен сказать что я здесь стараюсь собрать идеи мысли а также что на мой взгляд наиболее ценно - это то что вы лично можете посоветовать. я могу искать в интернете но уверенней будет идти если знающие люди направят и подскажут верную дорогу.
19.06.2015 10:43
Академическое образование
Цитата
tvojdrug
должен сказать что я здесь стараюсь собрать идеи мысли а также что на мой взгляд наиболее ценно - это то что вы лично можете посоветовать. я могу искать в интернете но уверенней будет идти если знающие люди направят и подскажут верную дорогу.

На эту тему литературы гора выше Джомолунгмы, от теоретических основ до описания конкретных подходов. Лучший способ войти в тему это найти научного руководителя. Он бы и подсказал и направил.
19.06.2015 10:58
ollitao
пожалуй что так, жаль что с этим у меня проблемы..
22.06.2015 10:06
Спасибо
Спасибо всем тем кто откликнулся, если вдруг кто-либо захочет мне что-то сообщить по этому поводу то я буду рад это выслушать)
27.06.2015 08:44
Кепстр проще рассчитать!
Попробуйте для начала рассчитать кепстр.
Это модуль БПФ(от модуля БПФ исходного сигнала). Поможет найти скрытые периодичности (если они существуют).
И обязательно оконное БПФ или вейвлет-анализ.
Со скользящим средним не советую даже связываться! У Вас чисто антикаузальная фильтрация - БПФ намного эффективней.
Если есть исходные данные в виде текстового файла - помогу быстро сделать вейвлет-анализ!
Только данные должны быть с равномерной дискретизацией по времени (например 1 сутки).
Вот пример: вейвлет-анализ изменения курса $ в 2014 году:
https://yadi.sk/i/7jTDw84QhWSVT
Можно ещё корреляционный анализ провести - курс $ - пластовое давление :-)
P.S. Но если Вы пытаетесь проблемой "несанкционированного отбора" заниматься, то сразу могу сказать - никакая фильтрация данных не поможет! Только корреляционные методы!



Редактировалось 7 раз(а). Последний 27.06.2015 21:49.
30.06.2015 15:19
santik
думал уж никто больше не напишет...
Отлично! спасибо за информацию и отзывчивость, прежде я сам должен разобраться с вейвлет анализом а уж потом может и просить помощь где не получается. Одна просьба вы не дадите рекомендуемую вами ссылку на статью или книгу касающуюся этих тем?
30.06.2015 19:16
Книга по вейвлетам
Книга на которую все ссылаются: "Десять лекций по вейвлетам", Ингрид Добеши.
Для студента 3-го курса мех-мата вполне одолима.
30.06.2015 23:03
Ещё один совет
"Десять лекций по вейвлетам" не читал, но осуждаю... И насколько я себе представляю, эта книга посвящена ортогональному вейвлет - анализу и tvojdrugу вряд ли поможет в решении его задачи. Гуглить надо непрерывный вейвлет-анализ, вейвлеты Морле.
И для начала просто сделать ФНЧ (фильтр нижних частот)! Простейший! Баттерворта например. Если заинтересуетесь - подскажу где найти программу готовую на Си или Фортране.
01.07.2015 01:40
Нет
Цитата
santik
"Десять лекций по вейвлетам" не читал, но осуждаю... И насколько я себе представляю, эта книга посвящена ортогональному вейвлет - анализу .
Ну а если не читали, то и не беритесь судить. В этой книге обсуждаются не только ортонормированные вейлет-базисы пространства $L_2$, но и биортогональные системы, системы Риса, переопределенные каркасы вейвлетов, которые весьма эффективны именно в задачах устранения шума, и многое другое. Что касается непрерывных семейств вейвлетов, о них говорится в вводных главах практически любой книги по вейвлетам. Добеши не исключение. В общем, в этой книге есть все, что надо и чуточку сверх того. С другой стороны, книга требует определенной подготовки. А полезна ли она прикладникам, это зависит от того, насколько глубоко человек хочет быть в теме. Я, например, читал книгу Стефана Малла "Wavelet tour in signal processing", которая по замыслу предназначена для прикладников. Вроде неплохая, но вот ощущения целостности картины она у меня лично не оставила, чего не скажешь о Десяти Лекциях Добеши.
01.07.2015 10:21
...
santik фильтр Баттерворта вы уже не первый кто мне о нем говорит (но на других форумах). Хорошо, скиньте пожалуйста ссылку на программу.
ollitao я найду эти "десять лекций по вейвлетам" спасибо за совет!
Весьма интересные дискуссии вы тут устраиваете) но поучаствовать в них пока не могу и не буду ибо цель моя пока что лишь получить информацию и направление у знающих людей и за это я вам благодарен)
01.07.2015 19:29
tvojdrug
Цитата
tvojdrug
santik фильтр Баттерворта вы уже не первый кто мне о нем говорит (но на других форумах). Хорошо, скиньте пожалуйста ссылку на программу.
ollitao я найду эти "десять лекций по вейвлетам" спасибо за совет!
Весьма интересные дискуссии вы тут устраиваете) но поучаствовать в них пока не могу и не буду ибо цель моя пока что лишь получить информацию и направление у знающих людей и за это я вам благодарен)
Есть в сети в формате djvu. Но начать вам, судя по тому, как вы реагируете на "советы", надо с преобразования Фурье.
Извините, только зарегистрированные пользователи могут публиковать сообщения в этом форуме.

Кликните здесь, чтобы войти