Header: Руководитель команды инженеров данных DWH в Маркет
Description: Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчетность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.
  Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идет на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.
  Наше хранилище данных сейчас одно из самых крупных в России — порядка 10 петабайт — и с учетом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надежности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.
Requirements: • уверенно знаете Python на уровне написания собственного фреймворка
  • знаете SQL на уровне оптимизации запросов
  • проектировали DWH: слои, модели хранения данных, процессы ETL
  • имеете опыт руководящей работы в роли лидера технической команды более года
  • понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP
Tasks: • управлять командой из 3-7 разработчиков
  • отвечать за развитие команды и адаптацию новых сотрудников
  • проводить собеседования и усиливать команду новыми разработчиками
  • формировать техническую повестку развития ядра платформы хранения и обработки данных
  • взаимодействовать с большим количеством смежных команд и пользователей
Pluses: • имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++
  • умеете работать в командной строке систем Unix-like: Linux, macOS
Hashtags: #python #SQL #DWH #ETL #hadoop #mapreduce #clickhouse #greenplum #MPP #linux #macos #java
Raw text: Руководитель команды инженеров данных DWH в Маркет🎁
  
  Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчетность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.
  Технологически ядро хранилища построено на системах хранения данных Yandex Tables (Hadoop собственной разработки), Greenplum и СlickHouse. Разработка процессов ETL идет на собственном фреймворке, который создан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются подходы от Data Lake до Data Vault.
  Наше хранилище данных сейчас одно из самых крупных в России — порядка 10 петабайт — и с учетом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надежности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.
  
  Мы ждем, что вы:
  • уверенно знаете Python на уровне написания собственного фреймворка
  • знаете SQL на уровне оптимизации запросов
  • проектировали DWH: слои, модели хранения данных, процессы ETL
  • имеете опыт руководящей работы в роли лидера технической команды более года
  • понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP
  
  Что нужно делать:
  • управлять командой из 3-7 разработчиков
  • отвечать за развитие команды и адаптацию новых сотрудников
  • проводить собеседования и усиливать команду новыми разработчиками
  • формировать техническую повестку развития ядра платформы хранения и обработки данных
  • взаимодействовать с большим количеством смежных команд и пользователей
  
  Будет плюсом, если вы:
  • имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++
  • умеете работать в командной строке систем Unix-like: Linux, macOS
  
  https://ya.cc/t/lXuxBXCf3BMM6T
  
  #python #SQL #DWH #ETL #hadoop #mapreduce #clickhouse #greenplum #MPP #linux #macos #java