русский
Germany.ruGroups → Архив Досок→ Immer wieder ...montags

Data Science

1824  1 2 3 alle
anutik@
Carpal Tunnel17.11.17 11:07
anutik@
17.11.17 11:07 


А как у вас?!

#1 
alla0
Fanat17.11.17 11:16
alla0
NEW 17.11.17 11:16 
in Antwort anutik@ 17.11.17 11:07

Тебе не хватает конкретики?

Я не дата сайентист, но работаю с группой дата аналитикс. В основном они озера данных устраивают, типа потом будет видно, что с ними делать.

#2 
anutik@
Carpal Tunnel17.11.17 11:55
anutik@
NEW 17.11.17 11:55 
in Antwort alla0 17.11.17 11:16
В основном они озера данных устраивают, типа потом будет видно, что с ними делать.

безумие прям какое-то

полностью отображает картинку в заглавном сообщении ))))

хаха

#3 
soarian
member17.11.17 13:24
soarian
NEW 17.11.17 13:24 
in Antwort anutik@ 17.11.17 11:07

Здравствуйте,


вот для Дата Аналитиков. Помогите придумать функцию для конвертации даты. Дана дата (в смысле день в формате бигинт, нумерик, инт32 итп.): 1731874864. Формат такой: 17 - год, 318 дней с 01.01, 74864 - сек с 00:00.
Нужно преобразовать в дату нормального формата, но исклучительно путём математических вычислений. Т.е. типа первые 2 буквы (субстринг) нельзя. Функция нужна сейчас.


Заранее спасибо

Тёмные аллеи
#4 
alla0
Fanat17.11.17 13:30
alla0
NEW 17.11.17 13:30 
in Antwort soarian 17.11.17 13:24, Zuletzt geändert 17.11.17 13:51 (alla0)

А мне нужны 200 евро на платье. Тоже сейчас - хочу сегодня заказать.

#5 
soarian
member17.11.17 13:33
soarian
NEW 17.11.17 13:33 
in Antwort alla0 17.11.17 13:30

денег нет?

Тёмные аллеи
#6 
карелка
виртуальная необходимость17.11.17 13:38
карелка
NEW 17.11.17 13:38 
in Antwort anutik@ 17.11.17 11:07

хахаспок У меня тоже со стороны сложилось такое впечатление.

Нет братоубийственной войне!

#7 
Срыв покровов
Carpal Tunnel17.11.17 15:07
NEW 17.11.17 15:07 
in Antwort soarian 17.11.17 13:24
вот для Дата Аналитиков. Помогите придумать функцию для конвертации даты. Дана дата (в смысле день в формате бигинт, нумерик, инт32 итп.): 1731874864. Формат такой: 17 - год, 318 дней с 01.01, 74864 - сек с 00:00.
Нужно преобразовать в дату нормального формата, но исклучительно путём математических вычислений. Т.е. типа первые 2 буквы (субстринг) нельзя. Функция нужна сейчас.

еще один не понял, кто такие дата аналитики

подсказка - используй остаток от деления

#8 
soarian
member17.11.17 15:17
soarian
NEW 17.11.17 15:17 
in Antwort Срыв покровов 17.11.17 15:07

спасибо, исползовала. Делила на 100000000 - получился год, потом на 100000 = день, вычла год + день, получились секунды итд.

еще один не понял, кто такие дата аналитики

А что, Дата Аналитики не используют функций?

Тёмные аллеи
#9 
Срыв покровов
Carpal Tunnel17.11.17 15:23
NEW 17.11.17 15:23 
in Antwort soarian 17.11.17 15:17

если честно, я сам не понимаю кто они такие

вот буквально вчера прочитал статью якобы про машинное обучение, нейронные сети и т.д.

типа как в соц.сети выбрать пользователей, которые бы согласились проверять загружаемые картинки на предмет нецензуры

https://habrahabr.ru/company/odnoklassniki/blog/342400/

но блин они же там ручками все фильтровали!

#10 
soarian
member17.11.17 15:29
soarian
NEW 17.11.17 15:29 
in Antwort Срыв покровов 17.11.17 15:23

Тоже вот хотелось бы знать. Не уверена, но может быть я хочу стать Дата Аналитиком. Вакансии предлагаются. Во всяком случае, я не растеряюсь, если в качестве дат в данных будут стоять типа 1274756183. Мигом преобразую...

Тёмные аллеи
#11 
Срыв покровов
Carpal Tunnel17.11.17 15:32
NEW 17.11.17 15:32 
in Antwort soarian 17.11.17 15:29

улыб

#12 
anutik@
Carpal Tunnel17.11.17 16:40
anutik@
NEW 17.11.17 16:40 
in Antwort soarian 17.11.17 13:24

с какого перепуга данные в таком формате?!

#13 
soarian
member17.11.17 16:44
soarian
NEW 17.11.17 16:44 
in Antwort anutik@ 17.11.17 16:40

не знаете? а ето линукс формат в виде числа. Может поступить например из ДБ2

Тёмные аллеи
#14 
anutik@
Carpal Tunnel17.11.17 16:56
anutik@
NEW 17.11.17 16:56 
in Antwort soarian 17.11.17 16:44

ну так гугл вам в помощь:

cast dataformat db2


или вот вам

#15 
Pikaboo
veteran17.11.17 16:59
Pikaboo
NEW 17.11.17 16:59 
in Antwort soarian 17.11.17 15:29

И это знание вам совершенно не пригодится, потому что для таких базовых вещей все функции уже давно написаны. Зато пригодилось бы умение пользоваться поиском в гугле.

#16 
anutik@
Carpal Tunnel17.11.17 16:59
anutik@
NEW 17.11.17 16:59 
in Antwort anutik@ 17.11.17 16:56
soarian
member17.11.17 17:00
soarian
NEW 17.11.17 17:00 
in Antwort anutik@ 17.11.17 16:56

спасибо но уже не нужно


cast dataformat db2 gibt es nicht

Тёмные аллеи
#18 
alla0
Fanat17.11.17 17:02
alla0
NEW 17.11.17 17:02 
in Antwort anutik@ 17.11.17 16:56

Прикольно, я эту книжку еще не читала

#19 
soarian
member17.11.17 17:07
soarian
NEW 17.11.17 17:07 
in Antwort Pikaboo 17.11.17 16:59

написаны да не написаны.

Нельзя из интернета всё ohne Sinn und Verstand копипастить


вот напримеp что требуeтся в Обявлении


https://career.be-lufthansa.com/index.php?ac=jobad&id=4818...


  • Professional experience in relational and non-relational data environments (e. g. SQL, noSQL, Hadoop, Hive, Spark)
  • Profound experience using SAS, Python, R, Scala or similar
  • Capability to solve complex tasks in a dynamic and challenging environment
Тёмные аллеи
#20 
Pikaboo
veteran17.11.17 17:09
Pikaboo
NEW 17.11.17 17:09 
in Antwort soarian 17.11.17 17:07

И че?

Как будто клянчить помощь на форуме чем-то лучше, чем копипастить из интернета.

#21 
alla0
Fanat17.11.17 17:09
alla0
NEW 17.11.17 17:09 
in Antwort soarian 17.11.17 17:07

Ой, Lufthansa :-(

А насчет копипастен Вы правы. Удивительно в каких количествах копируется чужой код

#22 
soarian
member17.11.17 17:11
soarian
NEW 17.11.17 17:11 
in Antwort anutik@ 17.11.17 16:59

...таk с 1283174502729 это просто пример - вы спросили, с какого перепуга такиe даты. Мой то вопрос совсем другой был (см. выше), да и не актуально уже как часа 3

Тёмные аллеи
#23 
alla0
Fanat17.11.17 17:11
alla0
NEW 17.11.17 17:11 
in Antwort Pikaboo 17.11.17 17:09, Zuletzt geändert 17.11.17 17:13 (alla0)

Вчера какой-то родитель в ДиС просил срочно помочь решить задачи по математике для Q1. Решения нашлись в готовом виде в интернете. Все там есть уже

#24 
alla0
Fanat17.11.17 17:12
alla0
NEW 17.11.17 17:12 
in Antwort alla0 17.11.17 17:11

А я вот это сейчас читаю, прро энтропию и теорию информации:

https://psy.wikireading.ru/19389


Очень доступно изложено

#25 
soarian
member17.11.17 17:13
soarian
NEW 17.11.17 17:13 
in Antwort Pikaboo 17.11.17 17:09

я у вас ничего не клянчила.

Тёмные аллеи
#26 
anutik@
Carpal Tunnel17.11.17 17:16
anutik@
NEW 17.11.17 17:16 
in Antwort soarian 17.11.17 17:00

ну посмотрите же строчкой ниже " bigint to date".

🙄🙄🙄🙄


#27 
anutik@
Carpal Tunnel17.11.17 17:20
anutik@
NEW 17.11.17 17:20 
in Antwort soarian 17.11.17 17:07

и как это описание связанно с вашим вопросом?!


#28 
soarian
member17.11.17 17:21
soarian
NEW 17.11.17 17:21 
in Antwort alla0 17.11.17 17:09

...просто можно в попыхах и ошибку какую скопировать. Да еслиб бы время сконвертировать была бы проблема - плохи были-бы мои дела. Я для ентшпаннунга, дай думаю вопрос задам Дата Аналитикам...

Тёмные аллеи
#29 
soarian
member17.11.17 17:22
soarian
NEW 17.11.17 17:22 
in Antwort anutik@ 17.11.17 17:16

именнно этот бигинт то дате не подходит. Я выше описала, как...

Тёмные аллеи
#30 
anutik@
Carpal Tunnel17.11.17 17:32
anutik@
NEW 17.11.17 17:32 
in Antwort soarian 17.11.17 17:22

я вижу, вы не читали stack overflow ответ


#31 
anutik@
Carpal Tunnel17.11.17 17:33
anutik@
NEW 17.11.17 17:33 
in Antwort Pikaboo 17.11.17 17:09

как у вас с дата сайнс?!

#32 
Pikaboo
veteran17.11.17 17:44
Pikaboo
NEW 17.11.17 17:44 
in Antwort anutik@ 17.11.17 17:33

У нас их целый отдел. Занимаются они как на мой взгляд чем-то средним между шаманством и астрофизикой, типа предсказания количества продаж в зависимости от уровня осадков)). Иногда угадывают, иногда нет. Пока не разогнали.

#33 
anutik@
Carpal Tunnel17.11.17 19:02
anutik@
NEW 17.11.17 19:02 
in Antwort Pikaboo 17.11.17 17:44

у меня впечатление пока следующее:

- есть фирмы, у которых анализ данный - основа бизнеса (например trivago)

- есть фирмы (и таких большинство), у которых дата сайнса не было ( был репортинг и контроллинг) и им этот дата сайнс , как столу 5я нога: прилепили, но пользы не приносит и зачем не поняли. Алла очень точно описала: обязательный атрибут какую-то технологию хадуб, даталейк или ещё что куда-то засунуть и начать туда данные заливать, а дальше никто не знает и особо не рыпается


#34 
Срыв покровов
Carpal Tunnel17.11.17 20:03
NEW 17.11.17 20:03 
in Antwort anutik@ 17.11.17 17:16
ну посмотрите же строчкой ниже " bigint to date".

Аня, ты прежде чем хабалиться лучше б попробовала вычислить дату теми способами из stackoverflow

результат можешь выложить тут

#35 
Срыв покровов
Carpal Tunnel17.11.17 20:07
NEW 17.11.17 20:07 
in Antwort Срыв покровов 17.11.17 20:03

а может под ником anutik@ как раз пишет какой-нить бот, запрограммированный таким вот machine learning ))

увидел слова bigInt и Date и он уже всё понял))

#36 
Pikaboo
veteran17.11.17 20:19
Pikaboo
NEW 17.11.17 20:19 
in Antwort anutik@ 17.11.17 19:02

Ну у нас продажи. По идее для нас это может быть вещь полезная. Чтобы прогнозировать когда, кому и что продавать. Кому, когда и какие товары рекомендовать, основываясь на их истории покупок. Когда и где пускать рекламу. И так далее.

#37 
кому что
enthusiast18.11.17 11:20
кому что
NEW 18.11.17 11:20 
in Antwort anutik@ 17.11.17 19:02
есть фирмы (и таких большинство)

о каких фирмах идет речь, чтобы делать такие выводы? Größe, Branche...

#38 
кому что
enthusiast18.11.17 11:58
кому что
NEW 18.11.17 11:58 
in Antwort Срыв покровов 17.11.17 20:07

улыбулыб

#39 
  JosefSchwejk
old hand18.11.17 13:11
NEW 18.11.17 13:11 
in Antwort Срыв покровов 17.11.17 20:07

Да, это макровирус фирменный 😶

#40 
anutik@
Carpal Tunnel18.11.17 13:59
anutik@
NEW 18.11.17 13:59 
in Antwort кому что 18.11.17 11:20

Напишите про те, с которыми у вас есть опыт. Любой опыт интересен 😃😃

#41 
кому что
enthusiast18.11.17 14:59
кому что
NEW 18.11.17 14:59 
in Antwort anutik@ 18.11.17 13:59

понятно. ответ классический. а вы действительно не бот?улыб

#42 
anutik@
Carpal Tunnel18.11.17 17:03
anutik@
NEW 18.11.17 17:03 
in Antwort JosefSchwejk 18.11.17 13:11

как в мультике простоквашино:

- до чего техника дошла!!!

- это я сама на лыжах дошла


Так и я: всё сама-сама и только планка (с)


#43 
anutik@
Carpal Tunnel18.11.17 17:12
anutik@
NEW 18.11.17 17:12 
in Antwort кому что 18.11.17 14:59

в смысле?!

Я написала, уже мое впечатление из увиденного.


Если у вас есть опыт в дата сайнс в маленьких/больших/средних фирмах, на самом деле а любых, и если у вас есть желание опытом делиться, то и пишите. Я думаю любая информация по делу будет аудитории интересна.


#44 
kiddy
Carpal Tunnel19.11.17 17:41
NEW 19.11.17 17:41 
in Antwort soarian 17.11.17 16:44
не знаете? а ето линукс формат в виде числа. Может поступить например из ДБ2

Это не соответствует тому как интерпретирует формат аффтар вопроса. Юних формат эпохальный т.е отсчет начинается с 01.01.1970 года UTC

Корабль уродов, где твой штурвал и снасть"You know, they've built a George Orwell memorial in Russia!" 'What? Where?" "Pretty much everywhere."
#45 
  JosefSchwejk
old hand19.11.17 20:22
NEW 19.11.17 20:22 
in Antwort anutik@ 18.11.17 17:03

В Fuzzy Logic не сильны?

#46 
soarian
member20.11.17 21:36
soarian
NEW 20.11.17 21:36 
in Antwort kiddy 19.11.17 17:41

...амежду прочим автор вопроса и не интерпретировал никак юникс формат - мне просто сказали, что мне нужно учиться правилно пользоватъся гуглом

Юних формат эпохальный т.е отсчет начинается с 01.01.1970 года UTC

да, конечно. но я просто привела абстрактный пример, когда ТС спросила: "с какого перепуга, дата в таком формате". Я просто хотела сказать, что абсолютно любые данные могут быть в абсолутно любом формате. Часто и спросить некого: "что собсвенно хотел нам сказать автор" - приходится варианты дурхитериеровать. И просто я хотела поделиться забавной задачкой на 5 мин. В моём случае, автор запрограммиеровал в х Base (мне не знакомом) Таимстемп не знакомого формата, а я мигрирую эти данные в SQL Server 2017.


Про convert(datetime, bigint...bla... я не спрашивала вообще то. Один тут, наверное Дата scientist, понял меня кстати.

Тёмные аллеи
#47 
soarian
member20.11.17 21:40
soarian
NEW 20.11.17 21:40 
in Antwort anutik@ 17.11.17 17:32
я вижу, вы не читали stack overflow ответ

это прям как в школе :) - а вы как узнали??? :):):)

Тёмные аллеи
#48 
anutik@
Carpal Tunnel20.11.17 22:49
anutik@
NEW 20.11.17 22:49 
in Antwort soarian 20.11.17 21:40

я уже поняла, что все тут не такие, а на 3 рубля дороже.

А по теме есть что сказать?

flower

а то выходит и правда как на картинке заглавного сообщения


#49 
alla0
Fanat20.11.17 23:53
alla0
NEW 20.11.17 23:53 
in Antwort soarian 20.11.17 21:36, Zuletzt geändert 21.11.17 09:54 (Lyavka)

Пришли с


вот для Дата Аналитиков. Помогите придумать функцию для конвертации даты.... Функция нужна сейчас.


Вот это что было? Просьба или приказ? Или проверка местных дата сайентистов на сообразительность (со странной присказкой "нужна сейчас")?

#50 
Срыв покровов
Carpal Tunnel21.11.17 00:06
NEW 21.11.17 00:06 
in Antwort alla0 20.11.17 23:53
проверка местных дата сайентистов на сообразительност

проверку не прошла - вот ты и бесишься))

#51 
alla0
Fanat21.11.17 00:14
alla0
NEW 21.11.17 00:14 
in Antwort Срыв покровов 21.11.17 00:06

Я не дата сайентист и в проверке не участвовала. И вообще я в миролюбивом расположении духа, в плохом настроении не подаю и не делюсь фидбэком.

#52 
Parker8
journeyman21.12.17 11:47
NEW 21.12.17 11:47 
in Antwort anutik@ 17.11.17 11:07

У меня родственник закончил бакалавр, затем мастер по Applied Mathematics and Physics в МФТИ. Работал параллельно в Москве с обработкой данных.

Осенью начал делать годичный мастер в универе Лёвена в Бельгии - Master of Artificial Intelligence. В принципе его на собеседования с самого начала учебы уже зовут, но он пока сосредоточен на учебе, ибо там много времени надо ей уделять, что бы все успеть. Ну и в целом говорит, что предложения есть, но не так, что бы сильно хорошие, в Бельгии с интересной работой в этой области все сложно. Цель его сейчас не зарплата, а набраться опыта в хорошем и интересном месте. Как я понял что-то типа Теслы с их автопилотом, гугла, эпла и прочее. Согласен даже на стажировку в США в какой-то крупной фирме. В Европе говорит, что крупные центры это Лондон, Дублин и Амстердам. Ну, а так США правит балом. Спросил его про Германию, не рассматривает ли ее? Сказал, что ничего подходящего не нашел.

И собственно вопрос, это он плохо искал или в Германии с AI действительно пока никак?

#53 
  ск@зочник
Fanat21.12.17 13:11
ск@зочник
NEW 21.12.17 13:11 
in Antwort Parker8 21.12.17 11:47

да сколько угодно.

он пояснял, что значит "интересная работа"?

#54 
anutik@
Carpal Tunnel22.12.17 21:33
anutik@
NEW 22.12.17 21:33 
in Antwort Parker8 21.12.17 11:47

что именно он подразумевает под АI?!

#55 
  JosefSchwejk
veteran22.12.17 21:43
NEW 22.12.17 21:43 
in Antwort Parker8 21.12.17 11:47
И собственно вопрос, это он плохо искал или в Германии с AI действительно пока никак?

Именно никак. Ни один из местных OEM не разрабатывает автопилотов, что Вы - все отдано на откуп звездно-полосатым улыб


#56 
Van Doren
Carpal Tunnel22.12.17 22:46
Van Doren
NEW 22.12.17 22:46 
in Antwort JosefSchwejk 22.12.17 21:43
Ни один из местных OEM не разрабатывает автопилотов, что Вы - все отдано на откуп звездно-полосатым улыб

Это не так.

#57 
  JosefSchwejk
veteran22.12.17 23:08
NEW 22.12.17 23:08 
in Antwort Van Doren 22.12.17 22:46
1 2 3 alle