Easyelectronics.ru

Электроника для всех
Текущее время: 19 ноя 2018, 10:26

Часовой пояс: UTC + 5 часов



    • JLCPCB - Прототипы 10 PCBs всего за 2$ (100*100mm, 2-layer)
    • Как мы делаем платы, смотрите на YouTube
    • Крупнейшая китайская фабрика прототипов. 300000+ заказчиков и 10000+ заказов в день!
    • LCSC - Крупнейший китайский онлайн магазин комплектующих.

Начать новую тему Ответить на тему  [ Сообщений: 16 ] 
Автор Сообщение
 Заголовок сообщения: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:31 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 310
Откуда: Новый Уренгой
Всем добра.
Пишу программу и уперся в тупик. Проблема с обработкой полученных значений.
Путем вычислений полученных данных, получаю последовательность(упростил)
05 L 1
23 L 2
24 L 3
25 L 2
35 L 1
45 L 1
46 L 4
48 L 1
100 L 1
первая цифра значение, всё что после L ее количество. т.е 23L2 это 05, 23, 23, 24...
данных двое, они чередуются.
реальные данные с устройства 24/46. 05, 35, 100 это ошибки которые нужно игнорировать. ошибка может быть, а может и небыть. данные с устройства тоже не всегда чередуются. может быть последовательность 24, 25, 24, 46, 24, 46, 47, 25, 150..
как это дело обработать? сутки туплю. помогите пожалста. а то вычислил все буквы а слово назвать немогу.

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:35 
Старожил

Зарегистрирован: 10 окт 2014, 00:48
Сообщения: 5129
Выкидывайте экстремумы.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:43 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 310
Откуда: Новый Уренгой
Думал об этом, но под экстремум может как ошибка попасть так и данные.

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:46 
Старожил
Аватара пользователя

Зарегистрирован: 06 ноя 2013, 16:07
Сообщения: 579
Откуда: Германия
А откуда известно, что 05, 35, 100 - ошибки?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:53 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 310
Откуда: Новый Уренгой
Вычислил.
Имею данные как с самого устройства 24/46 - чередуются, пока устройство на столе, так и вычисленные.
В нормальных условиях подключиться к устройству не получится, поэтому данные нужно получать только путем вычислений.
24/46 это данные одного девайса, на других другие данные. Могут быть например 90/90, т.е. один параметр.

Тоесть я накопил 16 данных: 05L1, 23L2, 24L3, 25L2, 35L1, 45L1, 46L4, 48L1, 100L1.
Отсортировал по количеству совпадений, по параметру L.
Получил 46L4 и 24L3 - это то что хочу получить. Но и 25L2 нельзя выкидывать..

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 15:14 
Старожил
Аватара пользователя

Зарегистрирован: 22 июл 2017, 11:48
Сообщения: 2481
Узнайте, какие данные с устройства точно будут достоверными, и проверяйте входные данные на попадание в достоверные


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 15:19 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 310
Откуда: Новый Уренгой
К сожалению это не возможно. Зато точно могу сказать что данные - константа.
23, 24, 25 - это мои данные, которые хочу увидеть с погрешностью 1
45, 46, 48 - тоже, погрешность 2
но среди них 05, 35, 100 - это не погрешность, а ошибка измерений. ее нужно отфильтровать.

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 15:46 
Старожил

Зарегистрирован: 19 мар 2013, 19:37
Сообщения: 2527
Откуда: Санкт-Петербург
1. Поток данных преобразуете в 05 23 23 24 24 24 25 25 ... (распаковываете RLE)
2. Медианная фильтрация (скажем, по 3 или 5 точкам)
3. Запаковываете обратно в RLE.

Вместо медианной фильтрации возможны другие варианты, сейчас даже перечислять не буду.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:07 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 310
Откуда: Новый Уренгой
спасибо, попробую

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:11 
Старожил
Аватара пользователя

Зарегистрирован: 06 ноя 2013, 16:07
Сообщения: 579
Откуда: Германия
Посчитать гистограмму
Show

"Укрупнить" ее
Show

Найти в ней первый "горб"
Show

Обнулить его и его окрестность
Show

Найти второй "горб".

Если второй "горб" сильно ниже первого - значения совпали.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:13 
Старожил
Аватара пользователя

Зарегистрирован: 06 ноя 2013, 16:07
Сообщения: 579
Откуда: Германия
aamonster писал(а):
2. Медианная фильтрация (скажем, по 3 или 5 точкам)


Не сработает - потеряется второй набор данных.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:15 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 310
Откуда: Новый Уренгой
Да я уже тоже к этому выводу пришел. Медианная фильтрация - найти белую ворону и сделать обычной.
Зачем укрупнять гистограмму?

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:20 
Старожил

Зарегистрирован: 10 окт 2014, 00:48
Сообщения: 5129
...


Последний раз редактировалось u37 19 апр 2018, 16:45, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:23 
Старожил
Аватара пользователя

Зарегистрирован: 06 ноя 2013, 16:07
Сообщения: 579
Откуда: Германия
casus писал(а):
Зачем укрупнять гистограмму?


Попытка получить более выраженный "горб". Можно и без этого, надо пробовать.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:41 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 310
Откуда: Новый Уренгой
Щас вот как хочу попробовать. Ввел доп параметр погрешность ± 5;
К первым отсортированным данным по количеству повторений применяю погрешность и группирую все данные которые в неё вписываются.
Посмотрю что из этого получится

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 20 апр 2018, 20:31 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 310
Откуда: Новый Уренгой
Всем спасибо, работает. По сути величена погрешности и есть зум гистограммы. По мере пополнения данных ее можно в последствии уменьшить.

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 16 ] 

Часовой пояс: UTC + 5 часов


Кто сейчас на конференции

Сейчас этот форум просматривают: KEA


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB