Easyelectronics.ru

Электроника для всех
Текущее время: 20 июл 2018, 09:25

Часовой пояс: UTC + 5 часов



    • JLCPCB - Платы прототипов всего за 2$ c бесплатной доставкой (при первом заказе)
    • 10 PCBs за $2 для 2 слоев, $15 для 4 слойной, $74 для 6 слойной платы.
    • Крупнейший китайский производитель прототипных плат. 290000+ клиентов & 8000+ заказов в день!
    • LCSC - Крупнейший китайский онлайн магазин радиодеталей.

Начать новую тему Ответить на тему  [ Сообщений: 16 ] 
Автор Сообщение
 Заголовок сообщения: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:31 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 296
Откуда: Новый Уренгой
Всем добра.
Пишу программу и уперся в тупик. Проблема с обработкой полученных значений.
Путем вычислений полученных данных, получаю последовательность(упростил)
05 L 1
23 L 2
24 L 3
25 L 2
35 L 1
45 L 1
46 L 4
48 L 1
100 L 1
первая цифра значение, всё что после L ее количество. т.е 23L2 это 05, 23, 23, 24...
данных двое, они чередуются.
реальные данные с устройства 24/46. 05, 35, 100 это ошибки которые нужно игнорировать. ошибка может быть, а может и небыть. данные с устройства тоже не всегда чередуются. может быть последовательность 24, 25, 24, 46, 24, 46, 47, 25, 150..
как это дело обработать? сутки туплю. помогите пожалста. а то вычислил все буквы а слово назвать немогу.

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:35 
Старожил

Зарегистрирован: 10 окт 2014, 00:48
Сообщения: 4581
Выкидывайте экстремумы.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:43 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 296
Откуда: Новый Уренгой
Думал об этом, но под экстремум может как ошибка попасть так и данные.

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:46 
Старожил
Аватара пользователя

Зарегистрирован: 06 ноя 2013, 16:07
Сообщения: 553
Откуда: Германия
А откуда известно, что 05, 35, 100 - ошибки?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 14:53 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 296
Откуда: Новый Уренгой
Вычислил.
Имею данные как с самого устройства 24/46 - чередуются, пока устройство на столе, так и вычисленные.
В нормальных условиях подключиться к устройству не получится, поэтому данные нужно получать только путем вычислений.
24/46 это данные одного девайса, на других другие данные. Могут быть например 90/90, т.е. один параметр.

Тоесть я накопил 16 данных: 05L1, 23L2, 24L3, 25L2, 35L1, 45L1, 46L4, 48L1, 100L1.
Отсортировал по количеству совпадений, по параметру L.
Получил 46L4 и 24L3 - это то что хочу получить. Но и 25L2 нельзя выкидывать..

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 15:14 
Старожил
Аватара пользователя

Зарегистрирован: 22 июл 2017, 11:48
Сообщения: 1951
Узнайте, какие данные с устройства точно будут достоверными, и проверяйте входные данные на попадание в достоверные


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 15:19 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 296
Откуда: Новый Уренгой
К сожалению это не возможно. Зато точно могу сказать что данные - константа.
23, 24, 25 - это мои данные, которые хочу увидеть с погрешностью 1
45, 46, 48 - тоже, погрешность 2
но среди них 05, 35, 100 - это не погрешность, а ошибка измерений. ее нужно отфильтровать.

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 15:46 
Старожил

Зарегистрирован: 19 мар 2013, 19:37
Сообщения: 2470
Откуда: Санкт-Петербург
1. Поток данных преобразуете в 05 23 23 24 24 24 25 25 ... (распаковываете RLE)
2. Медианная фильтрация (скажем, по 3 или 5 точкам)
3. Запаковываете обратно в RLE.

Вместо медианной фильтрации возможны другие варианты, сейчас даже перечислять не буду.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:07 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 296
Откуда: Новый Уренгой
спасибо, попробую

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:11 
Старожил
Аватара пользователя

Зарегистрирован: 06 ноя 2013, 16:07
Сообщения: 553
Откуда: Германия
Посчитать гистограмму
Show

"Укрупнить" ее
Show

Найти в ней первый "горб"
Show

Обнулить его и его окрестность
Show

Найти второй "горб".

Если второй "горб" сильно ниже первого - значения совпали.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:13 
Старожил
Аватара пользователя

Зарегистрирован: 06 ноя 2013, 16:07
Сообщения: 553
Откуда: Германия
aamonster писал(а):
2. Медианная фильтрация (скажем, по 3 или 5 точкам)


Не сработает - потеряется второй набор данных.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:15 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 296
Откуда: Новый Уренгой
Да я уже тоже к этому выводу пришел. Медианная фильтрация - найти белую ворону и сделать обычной.
Зачем укрупнять гистограмму?

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:20 
Старожил

Зарегистрирован: 10 окт 2014, 00:48
Сообщения: 4581
...


Последний раз редактировалось u37 19 апр 2018, 16:45, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:23 
Старожил
Аватара пользователя

Зарегистрирован: 06 ноя 2013, 16:07
Сообщения: 553
Откуда: Германия
casus писал(а):
Зачем укрупнять гистограмму?


Попытка получить более выраженный "горб". Можно и без этого, надо пробовать.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 19 апр 2018, 16:41 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 296
Откуда: Новый Уренгой
Щас вот как хочу попробовать. Ввел доп параметр погрешность ± 5;
К первым отсортированным данным по количеству повторений применяю погрешность и группирую все данные которые в неё вписываются.
Посмотрю что из этого получится

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: аналитика данных
СообщениеДобавлено: 20 апр 2018, 20:31 
Старожил

Зарегистрирован: 23 дек 2012, 16:46
Сообщения: 296
Откуда: Новый Уренгой
Всем спасибо, работает. По сути величена погрешности и есть зум гистограммы. По мере пополнения данных ее можно в последствии уменьшить.

_________________
vk.com/casusnur


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 16 ] 

Часовой пояс: UTC + 5 часов


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB