BI und Qlik
Всем привет! Кtо-нибудь работает в области BI и возможно с Qlik?
Насколько интересна такая работа (проекты для клиентов) и как вам нравится Qlik, особенно с технической точки зрения?
Я заметила, что они быстро работают в биг дата.
Вот сделала короткий пересказ их рекламы. Что скажете? Я не совсем понимаю, какая там техникаиспользуется:
Прикреплённые файлы
Меня интересует скорость, ан не качество данных. У нас проблема именно в скорости считывания и обработки данных. Как я понимаю, результаты запросов можно ускорить, если заранее подходящим образом индексировать нужные данные в базе. А для этого надо заранее знать, какие запросы ожидаются. Здесь же утверждается, что любые спонтанные запросы приведут к быстрому ответу благодаря "нрелинейной" методике (в отличие от SQL).
Вот как это работает?
А что будет после актуализации данных в базе? Процесс ведь заключается в том, что я шлю какой-то запрос в базу и хочу быстро получить ответ. В нашей технике по типу SQL это длится долго. Первый селект сюда тоже входит, потому что актуальные данные никто еще не загрузил, Значит, ответа придется долго ждать и в это новой технике? А по сути они делают ад-хок запросы и мгновенно получают результаты при миллиардах данных (я сама видела)
Ну и потом я же не могу индексировать заранее с учетом всех теоретически озможны комбинаций аттрибутов? В общем, я чего-то глобального здесь не понимаю. Наш биг дата спец тоже говорить, что ускорирть результат можно только для заранее ожидаемых запросов.
Нет, эти программочки используются на крупных производствах типа авиастроения и обрабатывают несметное количсетво данных. И вот мне очень хочется понять, как они это делают, если мои запросы о данных какой-то небольшой фирмы могут длитъся часами.
у нас на фирме свой собственный продукт (у нас своя CRM+BI), но аналогичный этому QlikView. Просто покликал - и все. если какого-то поля в базе нет, его можно просто досчитать по формуле и т.д. Но фишка таких статистик именно в том, что они динамические, то есть есть дриль-даун, временная ось и так далее, можно например увидеть в самом дешборде какие-то дополнительные нюансы.
Насчет перфомарманса - смотрю по ситуации. Иногда имеет смысл, скажем, создать статистику ТОП30 продаваемых продуктов или ТОП50 клиентов + ограничить по времени. Многих интересует кварталъная статистика или там годовая, а не за последние 50 лет. Плюс может меньше полей использовать или пользоваться виртуальными таблицами, содержащими уже редуцированные данные. Но видишь - у меня особо выбора продукта
нет, ножно пользоваться тем, что спрограммировали. вам больше повезло ;)
Лично мне такая работа нравится, можно проявить фантазию и сделать что-то интересное. Простенький пример: если статистика прибыль <-> митарбайтер фертриеб, то можно загрузить карту, а на ней отметить разными цветами регионы. Кликаешь на регион - открывается список коллег, которые в этом регионе генерируют прибыль и их проэкты. Параллельно двигаешь временную ось - и цифры меняются. Можно сказать, творческая работа в отличие от, скажем просто написания запросов.
Самое главное требование, у меня некоторые запросы часами длятся, а нужен мгновенный ответ. И это даже не Big Data
когда менеджмент запускает новый вид продукта, услугу, реорганизазию итд, они думают меньше всего, как коллеги будут это репортить. И приходится иной раз такое городить, что лишь благодоря запасу по производительности получается. А иногда и не получается и начинаются пляски с объяснениями, почему с технической точки зрения нельзя получить требуемые key figures.
Status quo не существует, вместо этого постоянные изменения
В моей области данные,которые надо рапортавать, ежесекундно меняются. Поэтому каждый раз запрос должен прочесывать все ряды, а также зависимые ряды, и зависимые от зависимых итд. И оптимально, если результат появляется сразу, а не через 5 часов.
Ну наверно больше толка, чем от отчета, который три часа производился или вчерашнего.