Data специалист
| ID | 1102074 |
| Должность | Data специалист |
| Опыт работы | более 10 лет |
| Зарплата | по договоренности |
| Менеджер | Тел.: (495) 987–45–64 E-mail: info@profistaff.ru |
| Дополнительная информация |
Пол: Мужской Место жительства: г. Москва |
Связаться с соискателем
Образование:
|
Учебное заведение: Московский государственный технологический университет Факультет: Самоорганизующиеся нейронные сети Кохонена |
|
Учебное заведение: Московский государственный технологический университет Специальность: Разработчик баз данных |
Опыт работы:
| 11.2016 - Н/В |
Компания разработчик ПО, Москва Должность: Data Engineer Обязанности: Разработал стримминговый пайплайн для загрузки и парсинга сырых данных реплеев матчей Dota 2 из Steam API. Ежедневный трафик данных пайплайна: 3 Террабайта входящий/40 Гигабайт исходящий. Данные в формате JSON сохраняются в хранилище данных, архитектуру и разработку которого я осуществлял. Разработанное решение экономит для компании 300-400$ в месяц, т.к. позволяет не пользоваться сторонними сервисами и не платить за ключ. Разработал стримминговый пайплайн для запуска ML моделей на больших данных распаршенных реплеев за недели и месяцы. Результаты модели обеспечивают пользователей инсайтами по сбору самых выигрышных комбинаций айтемов и абилок в игре. Разработал стримминговый пайплайн для студии онлайн-трансляции матчей Dota 2. Данные по игре, которую комментирует комментатор в реальном времени агрегируются и доступны по ссылке в АПИ компании. По окончании матча статистика за игру высылается студии по Телеграмм-каналу. • Разработал ETL фреймворк по загрузке даннных распаршенных реплеев в нормализованные таблицы хранилища данных, которые испльзуются для обеспечения корпоративного бэкэнда статистическими инсайтами по играм всех пользователей в Dota2 через REST API. Дополнительная информация: Стэк: PostgreSQL 11, PL/pgSQL, Python, Apache Beam, Apache Flink, Google Dataflow, Numpy, Pandas, SciKit Learn, Pentaho, Bash, Flask, FastAPI, Redis, RabbitMQ, Docker, CentOS, Grafana, NewRelic, GIT, Microsoft Azure, Google Cloud Platform |
| 07.2012 - 11.2016 |
Крупный e-commerce, Москва Должность: Разработчик хранилищ данных (DWH, BI) Обязанности: Развитие и поддержка корпоративного хранилища данных: витрины данных, различные загрузки данных (из SQL баз данных, REST API, JSON, CSV, Excel, XML) Разработка внутреннего релиз-тула для деплоя тасков на тестовую (UAT) и PRODUCTION среды Редизайн и переработка устаревающих сервисов хранилища данных и ETL-процедур Доработка функционала корпоративного ELT-фреймворка состоящего из взаимосвязанных джобов на Pentaho Data Integration, метаданных в таблицах Oracle 11g и хранимых процедур (пакетов) на PL/SQL Оптимизация производительности SQL-запросов заполнения витрин на каждом из 3-х слоев данных хранилища: Data Layer, Intelligence Layer, Business layer Участие в команде ночных дежурных по поддержке работы хранилища в режими 24x7 Разработка в Agile методологии Дополнительная информация: Достижения: Завершенные проекты финансовых витрин данных (MS Axapta, 1S Enterprise ERP) и витрин с ключевыми показателями мобильных приложений (Google API Console, Google Analytics, Newrelic, AppAnnie) Разработан релиз-тул для непрерывного выката разработок на продуктовую среду
Стек: RHEL 6, Oracle 11g, Pentaho Data Integration, PL/SQL, SVN, Atlassian Jira, Confluence, SAP BusinessObjects, Agile
|
Знание языков:
|
ТЕГИ:
Data специалист
Другие резюме данного раздела:
| Должность | Опыт работы | Зарплата | ID |
|---|---|---|---|
| Разработчик Frontend | более 2 лет | по договоренности | 1102048 |
| Разработчик Frontend | более 8 лет | по договоренности | 1102049 |
| Разработчик Frontend | более 10 лет | по договоренности | 1102050 |
| Руководитель направления (ИТ), Директор программы проектов | более 17 лет | по договоренности | 1102104 |
| Директор ИТ | более 15 лет | по договоренности | 1102103 |
| Руководитель проектов | более 10 лет | по договоренности | 1102102 |