Igor Gorbenko，阿拉伯联合酋长国迪拜的开发商
Igor is available for hire
Hire Igor

Igor Gorbenko

Verified Expert  in Engineering

Database and Back-end Developer

Location
Dubai, United Arab Emirates
Toptal Member Since
October 18, 2021

Igor是一名数据工程师和云架构师，拥有近13年构建高负载可靠系统的丰富经验, DWH, ETL, 以及俄罗斯天然气工业银行的机器学习管道, Stanford, GlaxoSmithKline, Fujitsu, AbbVie, and Royal Mail. 他是一名与云无关的工程师，专门研究Flask、FastAPI和数据库集成. Igor还热衷于建立基于gcp的系统，以利用企业提高工作效率, gain more flexibility, and allow a strategic advantage.

Big DataBig Data ArchitectureData EngineeringDatabase DesignDatabasesSQLMicrosoft SQL ServerData PipelinesETLGitPostgreSQLLinuxBashPythonJSONApache NiFiApache BeamGoogle Cloud Dataflow

Portfolio

Tango
谷歌云平台(GCP)， Redis集群，谷歌Bigtable，云数据流...
EPAM Systems
Scala, Apache NiFi, Apache Kafka, Pub/Sub，机器学习...
Netwrix
亚马逊网络服务(AWS)、Apache Spark、机器学习、Redshift、Terraform...

Experience

SQL - 13 yearsData Pipelines - 13 yearsBig Data - 6 yearsBig Data Architecture - 6 yearsPython - 6 yearsGoogle Cloud Platform (GCP) - 5 yearsAmazon Web Services (AWS) - 5 yearsMachine Learning Operations (MLOps) - 4 years

Availability

Part-time

Preferred Environment

PyCharm, Slack, Linux, Git

The most amazing...

...我开发的推荐系统是世界上最流行的视频流媒体平台之一, Tango Live.

Work Experience

Big Data Architect and Team Lead

2021 - PRESENT
Tango
  • 设计了一个高负载的推荐系统，作为一个应用程序的主要组件.
  • 开发了用于训练机器学习模型和其调用的编排的管道.
  • 创建了一个机制来监控推荐系统的所有组成部分的运行.
  • 优化数据加载到存储，重构遗留代码.
Technologies: 谷歌云平台(GCP)， Redis集群，谷歌Bigtable，云数据流, Google BigQuery, Machine Learning Operations (MLOps), Apache Airflow, GitLab, Docker, Machine Learning

Key Big Data Developer

2020 - 2021
EPAM Systems
  • 设计了一套公寓室内设计推荐系统.
  • 开发了平面室内推荐系统的后端部分, 包括用于收集信息的刮板，用于训练模型和所有数据处理过程.
  • 解决了Jira上报告的与数据管道相关的事件.
Technologies: Scala, Apache NiFi, Apache Kafka, Pub/Sub，机器学习, Google Cloud Platform (GCP), SQL

Big Data Architect

2019 - 2020
Netwrix
  • 将异常计算进程从Docker容器迁移到EMR Apache Spark集群. 这使得计算速度可以优化几倍.
  • 由于动态计算EMR集群配置，使用AWS的成本降低了几倍.
  • 开发具有报告和警报机制的监测系统. Implemented the CI/CD process.
  • 在基于云的预测系统设计中发挥技术领导作用.
Technologies: 亚马逊网络服务(AWS)、Apache Spark、机器学习、Redshift、Terraform, Amazon DynamoDB, Amazon Cognito, Dropbox API, Google APIs, Docker

Lead Big Data Developer

2018 - 2019
First Line Software
  • 开发了将客户原始数据转换为OMOP公共数据模型(CDM)标准的ETL过程的完整周期.
  • 开发并实现了一个使用Python、SQL和Spark自动进行数据转换的工具.
  • 创建并执行了一个工具，用于使用Python、Django和JavaScript可视化转换后的数据.
Technologies: Amazon Web Services (AWS), Google Cloud Platform (GCP), Apache Spark, SQL, Google BigQuery, Redshift, Django, Docker

Senior Software Developer

2016 - 2018
Fujitsu Global
  • 开发了一个由事故表演者分发门票的系统.
  • 开发并实施项目跟踪系统.
  • 将计费报表系统迁移到SQL Server reporting Services (SSRS).
技术:SQL, Bash, Linux, Microsoft SQL Server, IBM Informix, c#.NET, Oracle

Chief Software Engineer

2011 - 2016
Gazprombank
  • 开发分析和管理报告系统.
  • 开发了一个自动安装零售汇率的系统. 该系统使银行从货币兑换业务中获得的收入增加了数倍，降低了货币风险.
  • 创建了一个计划和监督计划执行的系统.
  • 通过“客户银行”功能建立了一个打击欺诈交易的系统.
Technologies: SQL, Excel VBA, C#.. NET, Microsoft SQL Server，投资，股票市场

Recommendation System for Tango

http://www.tango.me/live/recommended
为提出建议而采用的基于全球普及化方案的制度. 该系统允许用户根据自己的兴趣接收最相关的内容.

我是工程团队的负责人，负责数据和云方面的整个开发过程.

基于EPAM的公寓室内设计推荐系统

A GCP-based recommendation system. 公寓室内设计建议系统根据给定的公寓平面图提供最优的家具布置.

我是一个项目架构师，也是一个数据工程师和后端开发人员. 我设计了系统的架构和各个组件之间的交互.

一个复杂的医疗数据ETL，带有用于一线软件的自定义转换工具包

http://www.ohdsi.org/data-standardization/the-common-data-model/
该项目的主要任务是将原始数据转换为标准化格式. 原始数据集可以是各种类型并存储在不同的存储中, such as AWS S3, GCP GCS, Hadoop HDFS, PostgreSQL, Amazon Redshift, and more. 该项目需要一个工具来准备自动模式下的转换，并在使用Spark SQL的ETL过程中最大限度地减少问题.

I was a tech lead on this project. 我的职责是使用Python开发框架组件的核心部分, 它允许我们自动安排ETL步骤并在转换后运行其他任务, such as unit tests, stats reports, and so on. 我还执行代码审查并运行ETL管道.

Languages

SQL, Bash, Python, Scala, C#.NET, Excel VBA

Tools

PyCharm, Git, Apache Beam, Apache Airflow, Postman, Slack, Grafana, Terraform, Amazon Cognito, Cloud Dataflow, GitLab, Apache NiFi, Google Kubernetes Engine (GKE), BigQuery, Spark SQL, Amazon Athena, Google Cloud Dataproc

Paradigms

REST, ETL, Database Design

Platforms

Linux, Amazon Web Services (AWS), Google Cloud Platform (GCP), Docker, Apache Kafka, New Relic, Oracle, Kubernetes

Storage

PostgreSQL, Microsoft SQL Server, Data Pipelines, JSON, Databases, Redshift, Google Bigtable, Amazon DynamoDB, IBM Informix, Cloud Firestore

Other

IT Systems Architecture, Big Data, Big Data Architecture, Data Architecture, Data Engineering, FastAPI, Redis Clusters, Machine Learning Operations (MLOps), Machine Learning, Google BigQuery, Pub/Sub, Investments, Stock Market, Google Cloud Functions, Cloud Run

Frameworks

Flask, Apache Spark, Django, Locust

Libraries/APIs

Dropbox API, Google APIs

2003 - 2008

Master's Degree in Information Technologies

喀山国立研究技术大学-喀山，俄罗斯

DECEMBER 2021 - DECEMBER 2024

AWS Certified Solutions Architect Associate

AWS

JANUARY 2021 - JANUARY 2023

Professional Cloud Architect

Google Cloud

JANUARY 2021 - JANUARY 2023

Professional Data Engineer

Google Cloud

NOVEMBER 2020 - NOVEMBER 2022

Associate Cloud Engineer

Google Cloud

DECEMBER 2019 - DECEMBER 2022

AWS Certified Developer

PSI

AUGUST 2019 - DECEMBER 2022

AWS Certified Cloud Practitioner

PSI

Collaboration That Works

How to Work with Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

Share your needs

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

Choose your talent

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

Start your risk-free talent trial

与你选择的人才一起工作，试用最多两周. Pay only if you decide to hire them.

Top talent is in high demand.

Start hiring