APACHE HOP e NIFI: construa pipelines e fluxos de dados

Rating 4.67 out of 5 (3 ratings in Udemy)

What you'll learn

O que é Hop Orchestration Platform
Entendendo sobre fluxos de trabalho e pipelines
Entendendo sobre projetos e ambientes
Instalação do APACHE HOP
Criando pipelines com arquivos texto
Realizando tratamento de dados para entendimento do processo de engenharia de dados
O que são transformações, links e ações dentro de um pipeline
Construindo um workflow, orquestrador da sequência das operações
Entendendo o HOP GUI e seus …

Rating 4.67 out of 5 (3 ratings in Udemy)

What you'll learn

O que é Hop Orchestration Platform
Entendendo sobre fluxos de trabalho e pipelines
Entendendo sobre projetos e ambientes
Instalação do APACHE HOP
Criando pipelines com arquivos texto
Realizando tratamento de dados para entendimento do processo de engenharia de dados
O que são transformações, links e ações dentro de um pipeline
Construindo um workflow, orquestrador da sequência das operações
Entendendo o HOP GUI e seus componentes
Entendendo menu barras, principal e perspectivas
Criando sua área de projetos
Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output
Entendendo o que é : View output, Preview output , Debug output
Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exist
Leitura de dados em uma API: Rest Client, JSON Input, JSON Output
Construindo Workflow com execução de pipelines
Entendo o uso de variáveis globais no APACHE HOP
Automatização de pipeline ou workflow pelo HOP-RUN
Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão
Instalação de banco de dados Postgresql, usando PGAdmin
Entendo sobre Apache Nifi, uma plataforma de ingestão de dados
Entendo sobre o gerenciamento e a automatização do fluxo de dados
Entendendo sobre coleta de dados, transmissão de dados, armazenamento de dados
Ecossistema NiFi: Repositórios, controle de fluxo, máquina JVM, extensões
O que é Flow File
O que é um Processor
O que é um Fluxo de Dados
O que é uma conexão
O que é um grupo de processor
Aprendendo sobre a barra de componentes
Aprendendo sobre a barra de controle navegação
Aprendendo sobre a barra de operação
Desenvolvimento de diversos fluxos de dados
Extensões: Putfile, Getfile, ExtractText, SplitText
Extensões: EvaluateXpath, UpdateAttribute, GenerateFlowFile
Extensões: RouteOnAttribute, SplitXML, LogMessage, LogAttibute
Extensões: MergeContent, ReplaceText, CompressContent
Uso de Input Port, Funil e Process Group

Description

Preparamos um dos cursos mais incríveis na área de dados, trabalhando com duas grandes ferramentas de mercado que permitem o tratamento e ingestão de dados, seja por criação de pipelines ou por meio de fluxo de dados, estamos falando do APACHEHOP e do APACHENiFi.

Iniciaremos no treinamento com um produto 100% visual, que permite a execução de diversos plugin (componentes) de forma prática e sem código, utilizaremos o APACHEHOP. Ela veio para resolver os grandes problemas de execução e tratamento de dados em sequência, permitindo o encadeamento e diversas tarefas em um componente chamado pipeline, sendo possível (ler um arquivo de dados, gravar um arquivo de dados, ler banco de dados, gravar em banco de dados, fazer união de arquivos ou tabelas, tratar dados criando novas colunas ou eliminando outras existentes, dentre outras atividades). Você poderá criar um schedule utilizando a CRONTAB ou agendador do windows e para isso vamos utilizar o HOP-RUN. Claro, aprenderemos a trabalhar com workflow, para organizar as nossas tarefas.

Em seguida vamos adentrar no mundo do APACHENiFi, que é uma ferramenta de ingestão e fluxo de dados criada para processar e distribuir dados entre diferentes sistemas, sua principal funcionalidade é o gerenciamento e a automatização do fluxo de dados entre os sistemas, para execução destes fluxos de dados é fornecida uma interface WEB . É a programação baseada em fluxos.

Então venha conhecer e comece hoje mesmo a trabalhar com estas duas grandes ferramentas.

Duration 5 Hours 58 Minutes

Paid

Self paced

Intermediate Level

Portuguese (Brazil)

Rating 4.67 out of 5 (3 ratings in Udemy)

Go to the Course
We have partnered with providers to bring you collection of courses, When you buy through links on our site, we may earn an affiliate commission from provider.