Streaming de dados real-time com o Azure Stream Analytics

A medida que nos movemos para a era do Big data, mais e mais organizações acham imperativo ser capaz de processar uma grande quantidade de dados em tempo real, e com a capacidade de agir sobre eles. O processo de criação de pipelines de dados complexos e de análise, no passado, foi demorado e caro, mas agora pode ser feito em minutos por um custo menor. Isso graças ao Azure Stream Analytics. Ele é a mais recente adição da Microsoft ao seu conjunto de componentes de nuvem de plataforma como serviço (PaaS) avançados, totalmente gerenciados e sem servidor.

A tecnologia

Em seu cerne, o Azure Stream Analytics não é mais do que um conjunto de fluxos de dados de entrada e saída e alguns SQL antigos simples com um aspecto temporal que processa o motor analítico. É uma tecnologia extremamente poderosa, apesar de sua simplicidade, que se integra perfeitamente com algoritmos de machine learning personalizados ou out of box. Aqui na Niteo, ele incorpora nossas soluções de Data Analytics com foco em IoT, em que a necessidade de recuperação dos dados de ingestão é em real-time.

Entradas de dados

O Azure Stream Analytics atualmente oferece suporte a três tipos de entradas: armazenamento de blob, IOT e Hub de eventos. Cada um tem seu próprio caso de uso específico. Vale considerar o uso de um hub IoT se você quiser transmitir dados de temperatura de um Raspberry PI, já que o Hub IoT normalmente poderá desacoplar os geradores de eventos (Raspberry PI) e os consumidores de eventos (Azure Stream Analytics). Um hub de eventos é muito semelhante a um hub IoT, com a diferença de que ele só suporta comunicação unidirecional e pode ser usado para transmitir dados de mídia social ou outros tipos de fluxos de Big Data. O armazenamento de BLOBs, por outro lado, é uma ótima fonte de dados de referência: dados lentos de movimentação usados para enriquecer um fluxo de dados (por exemplo, dados demográficos do cliente se estiverem fazendo streaming de informações geográficas).

A beleza do Azure Stream Analytics é que ele permite que você combine dados de vários fluxos em um único conjunto de resultados.

Saídas

Acionar ações inteligentes com base nos dados processados é um dos pontos fortes do Azure Stream Analytics. Atualmente, é possível gerar o resultado agregado para qualquer um dos seguintes serviços: função do Azure, Hub de eventos, barramento de serviço, Cosmos DB, SQL Server, armazenamento de BLOB ou tabela, data Lake ou um dashboard do Power BI de transmissão em fluxo. Os hubs de eventos são ótimos para usar se você quiser que os dados disparem outro fluxo de trabalho, enquanto o Azure Functions pode ser usado para enviar emails ou acionar outras funções downstream.

SQL do Azure Stream Analytics

O próprio processamento de dados é executado usando uma variação de SQL, uma sintaxe familiar para aqueles que trabalharam com bancos de dados. Processamento de fluxo, em oposição ao processamento em lote normal, não tem um conjunto estático de dados. Em vez disso, executa constantemente a análise em um fluxo de dados em movimento. Para lidar com isso, a Microsoft adicionou Tumbling, hopping e deslizando janelas para a sintaxe SQL de análise. Essas janelas temporais embutidas permitem agrupar seus dados como um conjunto dentro de uma janela de tempo. Você pode, por exemplo, querer usar uma janela de salto se você quiser agregar seus dados em janelas de um minuto ao iniciar uma nova janela a cada 10 segundos. Além disso, o Azure Stream Analytics SQL tem toneladas de outras funcionalidades incorporadas para lidar com estruturas de dados complexas e pode utilizar algoritmos de aprendizado de máquina do Azure integrados e remotos – estes ajudam com detecção de anomalias, análise semântica e muito mais.

Por que é importante?

O processamento de fluxo é usado em torno de nós, e continuará a crescer à medida que continuamos a embarcar na jornada de IA/ML.

Fabricantes de automóveis autônomos já dependem fortemente desta tecnologia para indicar a seus carros se devem ou não parar ou virar com base em fluxos de dados de sensor ao vivo. Por exemplo, apenas sabendo que há um pedestre em seu trajeto não é o bastante para dizer que você deve pisar nos freios ou não. É com informações como a sua velocidade atual, a velocidade em que o pedestre está se movendo, a qualidade dos pneus, e assim por diante que você pode ser capaz de tomar uma decisão sobre quando parar. É aqui que a análise de streaming entra em jogo. Também podemos encontrar análises de streaming em uma abundância de outras indústrias, como a bancária, para combater fraudes, ou na indústria de manufatura industrial para monitorar sensores industriais, por exemplo, válvulas de pressão.

Indústrias tradicionais, como grandes shoppings, também podem se beneficiar. Embora seja mais provável que seja regulamentado no Brasil (LGPD), não é exagero pensar que os shoppings podem usar um software de processamento de imagens para capturar as placas dos clientes enquanto estiverem no estacionamento. Com base nas informações da placa do carro, eles poderiam obter informações adicionais sobre sua clientela, como informações demográficas, tamanho da família, renda, viagens internacionais mais recentes etc. Transmitir esses dados em tempo real permitiria que as lojas tivessem uma imagem melhor. de quais categorias de produtos venderiam melhor a qualquer momento durante o dia.

O Azure Stream Analytics está aqui para ficar. A facilidade com que se integra com outros componentes da nuvem e o poder de processamento, torna o Azure Stream Analytics uma ferramenta de implementação rápida, simples e poderosa. A Niteo optou por incorporar esta ferramenta a nossa solução de Smart Factory, pois agrega alto valor aos resultados, a um custo muito baixo. Nós oferecemos Tecnologias e Serviços em Data & Analytics para elevar a eficiência das empresas. Quer saber mais? Clique aqui.

Post anterior
Gerando valor na sua empresa através da Inteligência Artificial
Próximo post
Além da liderança

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Preencha esse campo
Preencha esse campo
Digite um endereço de e-mail válido.

Menu