Entenda mais sobre as diferentes abordagens para ingestão de dados e veja dicas de como escolher e usar cada método para entregar soluções mais efetivas
Trabalhar com ingestão de dados é uma parte essencial de muitos sistemas e aplicativos modernos. Por isso, é importante entender os diferentes métodos existentes para realizar essa tarefa.
No vídeo abaixo, Erika Nagamine, arquiteta de soluções especialista em Data Analytics da Amazon Web Services (AWS), explica, por meio de analogias do dia-a-dia, o que é batching, near real-time e streaming (real time), com o objetivo de ajudar todes a entregar soluções efetivas.
Por exemplo, para explicar como funciona batching, Erika nos remete à ação de lavar roupa: nós colocamos todas as roupas no cesto, depois separamos por cores e aí colocamos na máquina para lavar.
É mais ou menos nessa lógica que funciona o processamento em lote, que seria armazenar a informação, fazer processamentos e depois verificar um resultado ou levar para um determinado destino.
Já no caso de near real time, a informação já é tratada e analisada de alguma forma conforme vai chegando, a partir de determinados limites ou marcos a serem definidos. É o caso, por exemplo, de quando acompanhamos a frequência cardíaca pelo relógio e, caso essa medição atinja um patamar alto, uma ação se faz necessária (como chamar um médico).
Quando utilizamos o streaming (real time), tomamos decisões no exato momento que a informação chega, tal como o próprio nome indica.
Erika ainda elenca alguns pontos a serem levados em consideração na hora de pensar qual o melhor método a seguir, como a origem e o destino das informações, o custo (real time e near real time costumam ser mais caras), e se há necessidade de automatizar esse processo.
Ao final, a arquiteta de soluções explica alguns serviços de computação em nuvem que são oferecidos pela AWS e demais funcionalidades e recursos a serem encontrados na plataforma da empresa.
Assista o vídeo completo aqui:
Autora Erika Nagamine é graduada em Sistemas de Informação, com pós-graduação em Administração de banco de dados, Engenharia de dados e uma extensão em Mineração de dados complexos pela Unicamp. Hoje trabalha na Amazon Web Services (AWS) como arquiteta de soluções especialista em Analytics na Organização Global de especialistas da AWS. Já atuou em diversas verticais, como Telecomunicações, Industria e Serviços, com foco em administração de bancos de dados e engenharia de dados. Também é mentora voluntária para mulheres em transição de carreira para TI e adora compartilhar muito conteúdo sobre computação em nuvem (cloud) e dados. Revisora Stephanie Kim Abe é jornalista, formada pela Escola de Comunicações e Artes da Universidade de São Paulo (ECA-USP). Trabalha na área de Educação e no terceiro setor. Esteve nos primórdios da Programaria, mas testou as águas da programação e achou que não era a sua praia. Mas isso foi antes do curso Eu Programo…
Este conteúdo faz parte da Programaria Sprint Dados: Ampliando as Fronteiras.