Powered by

# 003 quick sync

**

11 de dez. de 2025

# [Sync] Data Platform

Convidados Deo Carlos Marcello Pontes Bruno Ricardo

Anexos [Sync] Data Platform

Registros da reunião Transcrição

# Resumo

Marcello Pontes atualizou sobre a fase exploratória da pesquisa, focada na coleta de dados e buscando feedback balanceado, enquanto Deo Carlos reforçará a solicitação da pesquisa FO para obter mais de 10 respostas, indicando que a fase é para entender problemas e prioridades. Bruno Ricardo (Br) e Marcello Pontes discutiram o uso do Dataplex por Wagner para aceleração da catalogação e a urgência de tratar o aumento de custos do BigQuery devido a consultas mal otimizadas, solicitando a Léo que verifique os top 10 itens de maior consumo, e também levantaram a necessidade de mecanismos para prevenir futuros aumentos de custo. Deo Carlos e Bruno Ricardo (Br) apresentaram as ferramentas Tectile e Rex para avaliação, a Tectile para simplificação de infraestrutura e a Rex como alternativa ao Jupyter Notebook com funcionalidades de dashboard e IA, enquanto discutiam concorrentes como Briefly e soluções como DataBricks, cujo custo e arquitetura foram ponderados pela equipe. A reunião também abordou o uso incorreto e custoso do BigQuery para operações transacionais, enfatizando a necessidade de Reverse ETL para mover dados para fontes não analíticas e avaliando o uso de ferramentas mais simples como PostgreSQL.

# Detalhes

Tamanho das anotações: Padrão

  • Acompanhamento da Pesquisa e Fase Exploratória Marcello Pontes informou que está na fase de coleta de dados e explorando tudo o que pode, com previsão de começar a compilar as informações estruturadamente na próxima semana ([00:03:03)). Ele planeja uma reunião com Léo e Wagner para navegar o ambiente e começar a tomar notas, buscando um balanço entre sugestões e escutar o pessoal ([00:04:19)). Deo Carlos mencionou a pesquisa FO em andamento e planeja reforçar a solicitação com a equipe para coletar mais de 10 respostas, indicando que a fase atual é exploratória para entender problemas e prioridades ([00:03:03)) ([00:09:53)).

  • Integração do Dataplex e Questão de Custos do BigQuery Marcello Pontes mencionou que Fernando e Wagner falaram sobre uma movimentação interna para uso do Dataplex, sugerida pelo Google, e que Wagner já está indexando algumas coisas. Bruno Ricardo (Br) esclareceu que o uso do Dataplex foi uma saída encontrada por Wagner para acelerar a catalogação e tentar usar o mínimo esforço para catalogar metadados ([00:05:41)). No entanto, um ponto de maior prioridade é o custo, que aumentou devido ao uso indevido e dashboards e queries mal otimizadas no BigQuery ([00:06:51)). Bruno Ricardo (Br) pediu a Léo para verificar os top 10 itens que estão consumindo mais para tratar a questão, algo que já fizeram antes com sucesso ([00:07:48)).

  • Prevenção de Custos Elevados e Governança Marcello Pontes levantou a questão de como prevenir futuros aumentos de custos após a correção, mesmo com o pessoal tendo acesso apenas de leitura. Ele sugeriu a implementação de mecanismos para evitar que "a pessoa faça uma atrocidade" desse tipo, propondo a inclusão de mecanismos de prevenção. Marcello Pontes também confirmou o acesso às respostas da pesquisa, com duas pessoas já tendo respondido ([00:08:37)).

  • Avaliação da Ferramenta Tectile Deo Carlos apresentou a Tectile como uma ferramenta potencialmente muito interessante, que já havia sido discutida por Bruno Ricardo (Br) ([00:09:53)). Eles observaram que a Tectile parece simplificar a infraestrutura, permitindo versionamento completo, rodar backtests, e fazer ETL jobs com boa integração, utilizando uma mistura de low code e code ([00:10:51)). Bruno Ricardo (Br) planeja agendar uma demo técnica com a Tectile, a pedido de Deo Carlos, para discutir funcionalidades específicas como versionamento, integração de código e dados externos ([00:13:10)) ([00:19:51)).

  • Avaliação da Ferramenta Rex para Análise de Dados Deo Carlos também introduziu o Rex, uma ferramenta que atua como um Jupyter Notebook integrado com dashboards, alertas e IA. Ele sugeriu que o Rex poderia substituir ferramentas como Looker e Metabase para criação de dashboards e servir como uma plataforma de análise para a equipe de Data Science, além de ser uma alternativa para rodar o Jupyter Hub remotamente ([00:14:01)) ([00:17:45)). Marcello Pontes mencionou que a empresa já tem uma experiência com Jupiter Hub em um ambiente de hackathon. Deo Carlos destacou que o Rex parece mais completo que um Jupyter Hub simples, oferecendo code complete e integração com IA ([00:15:37)).

  • Comparações com Outras Soluções de Dados (Briefly e DataBricks) Bruno Ricardo (Br) mencionou o Briefly como um concorrente nacional do Rex, que realiza algumas das funções que o Rex oferece. Marcello Pontes contrapôs as sugestões, mencionando que o próprio Google Cloud, Azure, e AWS (Sagemaker) já oferecem máquinas e ambientes para trabalho de dados, que poderiam ser integrados com IDEs externas ([00:16:39)). A equipe discutiu o DataBricks, que Bruno Ricardo (Br) já usou, sendo considerada uma ferramenta de usabilidade espetacular, mas com um custo exponencial e muito loquinho devido à sua arquitetura baseada em Spark e à cobrança dupla de processamento (DBU) e cloud ([00:20:44)) ([00:24:23)). Marcello Pontes demonstrou interesse no DataBricks devido às suas recentes funcionalidades amigáveis ao negócio, como o DLT (Delta Live Table), e planeja buscar informações atualizadas com um contato ([00:21:31)) ([00:24:23)).

  • Uso Incorreto do BigQuery e Reversão de ETL A equipe discutiu o uso incorreto do BigQuery para operações transacionais, que é lento e caro para buscar dados de forma individual, sendo um dado caro e legado. Marcello Pontes enfatizou a necessidade de trabalhar a questão do workload transacional, o Reverse ETL, para mover dados para fontes de dados que consomem isso de maneira não analítica ([00:26:42)). Deo Carlos sugeriu que um PostgreSQL ou algo mais simples poderia ser mais rápido e barato para a maioria dos dados agregados, já que a base de dados não é tão grande ([00:27:47)). Marcello Pontes concordou que o ETL tem a ganhar com o BigQuery, mas a consulta deve ser avaliada caso a caso, e o Reverse ETL deve ser usado para casos onde a profundidade do detalhe não é necessária na maioria das vezes ([00:30:22)).

# Próximas etapas sugeridas

  • Deo Carlos pingará todas as pessoas pessoalmente e circulará o formulário no canal do produto (com Bruno Ricardo (Br)) para reforçar o preenchimento da pesquisa e ter o overview inicial.
  • Marcello Pontes puxará uma reunião com Léo e Wagner para eles mostrarem o acesso, tomar nota e compilar todas as informações para estruturar as entrevistas e sugestões na próxima semana.
  • Deo Carlos enviará para Marcello Pontes o link e a apresentação da Valo com comentários sobre os pontos interessantes que talvez façam sentido para o projeto.
  • Bruno Ricardo (Br) perguntará ao Osvaldo se ele ainda está usando o Data Bricks para verificar como está o cenário atual.

# Transcricao

11 de dez. de 2025 [Sync] Data Platform - Transcrição 00:00:00

Marcello Pontes: Fala PR. Bruno Ricardo (Br): E aí, Deo Carlos: Desculpa, Bruno Ricardo (Br): beleza? Deo Carlos: desculpa o atraso aqui que você mandou mensagem para mim. Marcello Pontes: Beleza. Deo Carlos: Eu achei que era essa reunião que você tinha adiado. Bruno Ricardo (Br): Não, Deo Carlos: Agora eu vi que é a próxima. Bruno Ricardo (Br): não era outra, a Marcello Pontes: Eh, Bruno Ricardo (Br): próxima. Deo Carlos: É. Marcello Pontes: o Gemin tá tá tomando notas já. Tá já como interno dentro da organização, eu consigo habilitar já. Bruno Ricardo (Br): E tá em português, Marcello Pontes: Obrigado pelo convite. Bruno Ricardo (Br): porque se forem inglês ele pega mal. Isso. Marcello Pontes: Tá em português. Coloquei em português. Bruno Ricardo (Br): Boa, Marcello Pontes: Valeu. E aí, gente, como é que tá? Bruno Ricardo (Br): turma. Foi mal. Deo Carlos: Beleza, Bruno Ricardo (Br): Tô no celular porque eu tô na recepção da consulta aqui, Deo Carlos: tranquilo. Marcello Pontes: Vou consulta Deo Carlos: Eh, Marcello Pontes: aí. Bruno Ricardo (Br): cara.

00:03:03

Bruno Ricardo (Br): Tudo certo? Quer falar? Deo Carlos: não, só perguntar, tipo, a a gente colocou aquele FO para fazer a pesquisa. Eu acho que você já tá levantando alguns dados a partir dos usos, né, que existem. Eh, eu vou dar uma vou dar uma pingar todo mundo pessoalmente para reforçar assim para pessoal ver se preenche a pesquisa eh e e ter esse Marcello Pontes: Так. Deo Carlos: overview inicial. Eh, e tipo, eu não quis, não quis ainda não sei se ainda é o momento da gente começar a discutir eh algumas coisas mais específicas. Marcello Pontes: M. Deo Carlos: Eu não sei como é que você tá tá achando em relação a isso, tipo, quais são os problemas exatamente que a gente tem, como a gente acha que vai resolver prioridades ou se ainda eh a gente tá um pouco mais nessa fase exploratório de entender as ferramentas, entender essas coisas. Marcello Pontes: Tá? Eh, nesse momento eu tô explorando, eu tô coletando tudo que eu posso, sabe? Deo Carlos: que Marcello Pontes: Eh, e aí acho que começando já na semana que vem, eh, eu devo começar a compilar toda essa informação que eu que eu tô pegando. Deo Carlos: É Marcello Pontes: Amanhã eu puxo a reunião com o Léo e com o Wagner para eles me mostrarem um pouco.

00:04:19

Marcello Pontes: Eh, eu tenho acesso aqui, mas o meu acesso é é é um é um mundo de coisa, né? Então eu vou pedir para eles me navegarem um pouquinho lá para eu tomar nota de algumas coisas e eu vou eu vou a partir de amanhã já já que eu tenho uma coisa com ele eh minha tarde manhã desse eu vou começar a compilar tudo. Possivelmente já na semana que vem eu já começo a colocar alguma coisa de maneira estruturada para poder começar a puxar a gente poder entrevistar e eh sugerir, né? acho que vai ter um uma grey area aí nessa entre essa sugestão e escutar o pessoal vai encontrar esse balanço, esse equilíbrio aí para eu me sentir confortável. Eu vou sugerir e e isso fazer sentido para vocês também, né? Mas eu tô eu tô muito mais coletando dados Deo Carlos: Perfeito. Marcello Pontes: agora. Deo Carlos: Eu só só com uma observação, tipo, hoje de manhã eu tava eu fui para um uma apresentaçãozinha da Valo, que duas empresas estavam mostrando um pouco do stack deles. Tem algumas coisas interessantes lá que eu que eu acho que talvez vai fazer isso tudo pra gente, mas eu vou levantar esses pontos também nesse nesse próximo momento, só para deixar você fazer esse trabalho inicial menos viado. Marcello Pontes: Ó,

00:05:41

Deo Carlos: Quer que mande o Marcello Pontes: tudo que tu tu tudo que tu achar interessante, Deo Carlos: quanto? Marcello Pontes: se tiver a apresentação deles com alguns comentários. Isso aqui faz sentido por causa daquilo, daquilo vai vai ajudar bastante. Eh, o pessoal, o Fernando e o e o Wagner me falaram muito sobre eh uma movimentação já interna no sentido de uso do vértex, né, do vértex, não, do dataplex, eh, que a Google sugeriu. Parece que o Wagner já tá indexando algumas coisas. Vou conversar com ele amanhã para saberem em que pé isso tá tecnicamente, mas eu quero saber de vocês aí. Eh, eu sei que vocês me falaram que não tem nada prego, batido, ponta virada ou prego virada ou batida, mas pra gente eh para eu saber um pouco da direção na na na no discurso deles é bem sedimentado, mas assim, eh eu queria saber de vocês Bruno Ricardo (Br): É, Marcello Pontes: também. Bruno Ricardo (Br): eu não sei se como ferramental vai vir antes, assim, eles estavam falando isso porque era uma saída que Wagner tava encontrando lá para poder acelerar catálogo e ela usar o Marcello Pontes: Pode ser. Bruno Ricardo (Br): dataplex lá para tentar, tipo, fazer o mínimo de esforço para catalogar metadados.

00:06:51

Bruno Ricardo (Br): Eh, só que essa semana surgiu um ponto que talvez tome um pouquinho de prioridade aí até trazer isso para para Del. Marcello Pontes: Ja. Bruno Ricardo (Br): Acho que até Fernando vai trazer no staff lá da engenharia, mas é custo. Começou a subir a a progressão de custo lá do Big Query pro mês por uso indevido, uso mau uso, dashboard mal otimizado, query mal otimizada para ter assim, tem um 10 custando 15 pontos mesmo. É, Marcello Pontes: 15. Bruno Ricardo (Br): é, dá para pagar o, Deo Carlos: Qual Bruno Ricardo (Br): é, vou te mandar o link, Deo Carlos: dash? Bruno Ricardo (Br): é um dash de cobrança lá de collections em que faz um cálculo. Ah, mas é muito, é tipo totalmente por falta de otimização, Marcello Pontes: Com certeza, velho. Bruno Ricardo (Br): sabe? Marcello Pontes: Isso aí eu já 50.000 per de altura já consigo Bruno Ricardo (Br): Exatamente. Isso já aconteceu uma vez, Marcello Pontes: saber. Bruno Ricardo (Br): a gente fez um trabalho de cleasing assim, pegou uns 10, o top 10, fez um trabalho, sumiu, saiu de 9 conto para 700.

00:07:48

Deo Carlos: É o é o 10 da onde? de do Luc Bruno Ricardo (Br): É no looker. No looker. Deo Carlos: B. Bruno Ricardo (Br): Aí o outro foi tipo, integraram o log de aplicação com metabase, sabe? Aí ele ficava batendo lá no avio. Aí fez uns negócios meio estranho. E aí o Fernando tava meio preocupado com isso porque tava aumentando 400k na projeção, tipo que o Google falá do biling. Eh, então pode ser que estou na frente. Eu pedi pro Léo dar uma olhada, tá? Tem um pedip, Léo, Marcello Pontes: Ah. Bruno Ricardo (Br): faz isso aqui. O ano passado, quando eu fiz isso, lá no no biling do BQ, Marcello Pontes: Ja. Bruno Ricardo (Br): você consegue saber as queres e os dashes de Luca com ID direto dele, o que é que tá consumindo. Pega os top 10 aí, trata c em cima para matar, que normalmente eles que puxam. E pode ser que a gente tenha que olhar para isso. Deixa eu só ver como

00:08:37

Marcello Pontes: Eh, eh, Bruno Ricardo (Br): evolui. Marcello Pontes: vai ser interessante também a gente porque assim, o pessoal vai corrigir, né? Como é que a gente prevê, previne que isso aconteça no futuro, né? Bruno Ricardo (Br): Uhum. Marcello Pontes: Porque mesmo o pessoal tendo acesso somente leitura, Bruno Ricardo (Br): Não tem problema. Marcello Pontes: beleza, governança, OK? Vai ter acesso somente a alguns dados. Como é que a gente prevende que um um animal, pessoa, desculpa, a pessoa eh faça uma atrocidade dessa, né? Acho que tem que colocar mecanis para isso aí também. Beleza. Eh, tá. Eu não, eu não, eu vi aqui que eu tô com eu tô com o o formulário, esse aqui, mas deixa eu ver aqui só se eu tenho acesso à planilha. Response. Ah, tem ah, tem respostas aqui. Tá beleza. Beleza. Duas pessoas responderam. A Natália e o Renato. Deo Carlos: O Renato Rosa. Marcello Pontes: Rosa. Deo Carlos: Eu vou encher o saco aqui do dos teclados, principalmente pessoal de crédito, pra gente ter uma visão completa.

00:09:53

Marcello Pontes: A tá esperando quantas pessoas responderem, Deo Carlos: Ah, eu acho que pelo um pouco mais de 10. Marcello Pontes: tá? Deo Carlos: Acho que pelo menos é não dá para ter mais, Bruno Ricardo (Br): Acho que até acho que até mais de dá para ter mais. Eu vou passo circular no canal do produto, Deo Carlos: mas tipo tem umas 10 assim que eu que são que eu vou pelo menos ficar em cima para Bruno Ricardo (Br): tá? Deo Carlos: responder. Eh, e aí eu vou eu vou colocar, não sei se vocês eh quer falar já disso, dessas duas coisas que eu que eu olhei assim, que eu acho que pode ser bem interessante pra gente. É uma delas, eu falei com o João, eh, Bruno, e, tipo, ele falou que eles já tinham falado com você, que é a Tectile. Já vou falar, Marcelo, essa tectile? Bruno Ricardo (Br): A gente falou com eles, eu falei com eles há uns 20 dias atrás, eles estão no meu pé, querendo continuar o papo. Marcello Pontes: Tyle Deo Carlos: É, pois pode Bruno Ricardo (Br): Aí João é muito f***, Deo Carlos: marcar, Bruno Ricardo (Br): né? que eu fiquei no pé dele dizendo que eu vou puxar o Del para isso ele não, a gente já falei com ele, não presta

00:10:51

Deo Carlos: não? Então, Bruno Ricardo (Br): não. Deo Carlos: um dos pontos é tipo assim, o você olhando pelo site deles, tem várias coisas que, tipo, não dá para saber se tem ou se não tem. Marcello Pontes: como é que é o nome? É Deo Carlos: Tech é tectile, Marcello Pontes: te Bruno Ricardo (Br): Vou é Deo Carlos: eu vou passar. Eh, t a k t a k t i l eh. Bruno Ricardo (Br): at. Marcello Pontes: Ah! Deo Carlos: Eh, tipo, Marcello Pontes: Ah! Deo Carlos: é, é um pouco ruim avaliar assim de fora, Marcello Pontes: Ah! Deo Carlos: porque, tipo, não dá para você começar a usar, você tem que entrar em contato com eles para eles abrirem um ademo, esse tipo de coisa e tal. Marcello Pontes: Угуm. Deo Carlos: Então, olha, por cima parece legal, mas tipo, não dá para saber se você tem todas as propriedades, mas tipo, o cara lá tá falando, você consegue ter o versionamento completo das coisas. Eh, ele lá tá rodando com curso marginal zero, né, com com fi fixo. Não sei como é que vai ser a estrutura de price, Marcello Pontes: Угу. Deo Carlos: teria estrutura de price pra gente, mas conseguiria rodar back test, fazer várias coisas, tem uma boa integração com a EAI, então tipo tanto para eh tem uma tem uma tem uma boa mistura entre low code e code, né?

00:11:50

Deo Carlos: Então dá para fazer muita coisa code, mas dá para fazer muita coisa low code também. Então, enfim, tem algumas coisas legais nesse sentido. Eles conseguem rodar ETL de jobs e várias coisas, enfim. Então, eh, parece ser uma boa ferramenta para simplificar grande parte da nossa infraestrutura, tanto de coisas que estão rodando, mas também de coisas auxiliares que precisam rodar juntas. Então, tipo, a gente roda o motor de crédito, mas depois a gente quer fazer algumas análises em cima do que foi rodado, gerar alguma coisa, a gente Bruno Ricardo (Br): Aí ele tinha até integração legal com mensageria também foi a parte que eu achei mais legal assim integração lá Deo Carlos: consegue, Bruno Ricardo (Br): com collection Ча. Deo Carlos: não. Então, e isso aí, isso aí seria uma ferramenta que a gente usaria para pr pra mensageria, para o chatbot, para pr para o motor de crédito, para várias questões de dados e várias coisas auxiliares. Eu, particularmente, fiquei bem animado. Eu procurei bastante coisa nesse sentido. Eu acho que eu já tinha até olhado por eles assim, mas tipo no site não dá para saber. Então, o cara lá que tava usando bastante, que a infraestrutura dele foi muito construída em cima disso, eh, e falou das coisas e e aí deu para entender efetivamente o que os caras estão fazendo.

00:13:10

Deo Carlos: Parece muito bom. Passei aqui o link para você rapidamente. Marcello Pontes: É esse aqui, né? Deo Carlos: É, eh, Marcello Pontes: É Deo Carlos: e lá eles nem usam, eles nem usam com muito da a parte do AI mesmo, até até o chatbot eles falaram que eles criaram eles, eles fizeram isso antes da tecl boa integração com essa questão de chatbot, então a parte do chatbot deles tá muito fora, Marcello Pontes: M. Deo Carlos: mas tipo fluxo de fraude, de análise de crédito e várias outras coisas auxiliares estão tudo aí. Eh, Bruno Ricardo (Br): Então eu vou puxar pra próxima semana, Deo Carlos: existe um cara por mim, Bruno Ricardo (Br): vou ver se tem agenda de vocês dois. Marcello Pontes: Entendi. Bruno Ricardo (Br): Aí eu puxo lá com o o red lá tampou que tava me Deo Carlos: por é por mim puxa o quanto antes. Pode puxar o quanto? Bruno Ricardo (Br): cobrando. Deo Carlos: pode puxar para amanhã se quiser. Pô, Bruno Ricardo (Br): Tá Deo Carlos: eu queria efetivamente avaliar isso para Bruno Ricardo (Br): bom. Marcello Pontes: A minha agenda lá tá atualizada, Deo Carlos: para Marcello Pontes: tá naquele link lá. Só só vocês eh deram uma olhada lá.

00:14:01

Bruno Ricardo (Br): Fechou. Deo Carlos: E tem e é e tem uma segunda coisa que que é bem interessante também que pode satisfazer de uma forma complementar isso aqui que eh Hex eh ptec. Deixa eu mostrar aqui para vocês que seria um Júpiter Notebook, dashboards e alertas e etc, tudo junto assim. É tipo, é tipo é tipo uma interface tipo JT Notebook, mas que é relativamente bem integrado com com EI também para você fazer as as coisas um pouco mais rápida, integração de dados e tal. Então, seria uma ferramenta pra gente criar dashboards, Marcello Pontes: Угуm. Deo Carlos: né, tipo que poderia substituir um looker, um metabase ou nosso próprio dashboard de crédito. Eh, mas também uma ferramenta para, tipo, a galera dentro da science tá fazendo as análises, os relatórios. teria esse tulezinho, que só para deixar claro, até uma coisa que eu tava experimentando agora era para subir um um jup um Jupiter hub para que a gente não precise estar rodando esse tipo de coisa localmente e ter uma área eh que todos os dados e todas as anális possa estar lá de maneira remota, a pessoa tá acessando aqui do computador, mas que não tá na sua máquina mesmo rodando isso localmente. Marcello Pontes: Tem um tem, a gente tem um ambiente aqui que uma é um um exercício da OTAN, falas que eu comentei com vocês que o pessoal que precisava disponibilidade tem uma uma máquina da p****, um prêmio lá que o pessoal tinha umas Nvidia, né?

00:15:37

Marcello Pontes: Aí queria disponibilizar para um uma espécie de racatom, é um desafio de inovação. Aí a gente botou o Jupiter Hub lá integrado com single, o Jupiter Hub. Aí cada usuário tem o seu Júpiter Lab integrado com legal essa ideia, Deo Carlos: Então eu tava pensando eh o o Rex talvez resolva esse de maneira melhor, Marcello Pontes: mas o ele resolveria isso aí, né? Deo Carlos: né? Então mais fácil e tal. E tipo, tem várias coisinhas assim, Marcello Pontes: Uhum. Deo Carlos: tipo, colocou o Júpiter, beleza, tá legal, mas tipo ele não tem nem um code complet, ele não tem nem um muito menos um EAI integrado e muito menos a possibilidade de fazer algumas outras coisas. Então aqui, tipo, nesse Rex, me parece, pelo que eu olhei aqui rapidamente depois, tipo, mas a gente consegue fazer um dashboard e a gente consegue criar um alerta lá e ser notificado nesse alerta que ele vai ficar rodando com a frequência X também. Então você você pode estar tanto olhando um dado como esse esse esse dado que você montou para para um dashboard, ele se transformar num alerta, sabe? Então tem uma chance dele satisfazer algum várias coisinhas interessantes eh nessa parte de análise exploratória de dados,

00:16:39

Bruno Ricardo (Br): ela deixa é tem um concorrente nacional Deo Carlos: né? Bruno Ricardo (Br): deles que eu já testei que é o briefer. Marcello Pontes: Agora, Bruno Ricardo (Br): Eu vou te mandar. Acho que não cobre tudo, Marcello Pontes: agora sim, Bruno Ricardo (Br): mas funciona. Marcello Pontes: eh, Deo Carlos: e Marcello Pontes: uma, uma visão para, não é, não é definitiva, tá? Só mais uma ideia assim para contrapor um pouco. Isso é que talvez a própria Google já tenha eh máquina de enfim, provavelmente que azul e a WS eu sei que tem, mas máquina, por exemplo, Azur tem a ML ML pinças, um negócio assim, Azur, a a WS tem S maker, S Maker busca e tu sobe lá onde e aquilo para. E aí a vantagem, Deo Carlos: M. Marcello Pontes: sei que não tem integrado o a IDE com a o assistente de, mas, por exemplo, tu consegue eh conectar se tu usar o curso ou ou o Visual ou virtualmente qualquer outro eh IDE que tem assistente consegue plugar o no end point remoto, né? tu ganha um end point, aí tu conecta, ó, o kern que eu tô rodando é esse aqui.

00:17:45

Marcello Pontes: A vantagem é que tu tem que é, enfim, é linguagem é Python, tal, tu pode usar outras linguagens também, dependendo Deo Carlos: Então, eh, eu, eu por mim acho ótimo a gente avaliar essas essas várias alternativas. Marcello Pontes: do Deo Carlos: Uma única coisa assim, tipo, que para mim esse de solução parece legal, porque eh isso que você tá falando é uma solução para pra gente quem corda para detação pro time de cobrança montar os dashboard deles para ficar vendo. Marcello Pontes: Aham. Deo Carlos: Então essa Rex talvez possa ser algo que atende muito bem aqui e atende muito bem lá, sabe? Marcello Pontes: Entendi. Deo Carlos: Talvez assim, tipo, e e seja seja algo que satisfaça essas duas coisas. Obviamente que a gente não precisa ter uma tunfazer tudo, mas eh não é tipo assim, quando você tem uma boa ting, que satisfaz quase tudo, muitas vezes ela nasce de uma forma, aí vira para outra, tipo assim, eles estão lá usando de uma forma, mas tem alguma coisa, tá precisando de alguma coisa de de code, não precisa migrar para outra ferramenta, ela consegue se adaptar mais e enfim. Marcello Pontes: M. Deo Carlos: Então quando eh às vezes quando você tem uma boa tla inflexível, acaba simplificando as coisas, né? Marcello Pontes: Entendi.

00:18:57

Deo Carlos: Então, mas sem dúvida nenhuma, Marcello Pontes: Entendi. Deo Carlos: eu não não tô falando que tipo tem que ser ela ou a gente não poderia ter ter outras coisas, né? Então, eh, é mais uma questão de vamos avaliar, vamos ver. E tipo, Marcello Pontes: Sim, sim. Deo Carlos: eu me me pareceu legal, me pareceu Marcello Pontes: Beleza. Deo Carlos: legal. Marcello Pontes: Pricing. Ó, tem um community aqui. A Rex tem um community. Vou dar uma testada também. Deo Carlos: A regs é mais fácil de testar, né? Eh, o o te a gente efetivamente tem que criar uma demozinha e tal, Marcello Pontes: trial. Deo Carlos: mas eu acho que eu acho que vale a Bruno Ricardo (Br): Não, Deo Carlos: pena. Bruno Ricardo (Br): eu já puxo o papo com eles para demo, que é o que eles estão devendo, porque o papo inicial, Deo Carlos: Sim. Bruno Ricardo (Br): que foi o papo mais comercial, que aqu eles oferecem, tal, eu já fiz, Deo Carlos: Então, Bruno Ricardo (Br): tá? Deo Carlos: mas eu queria ter um papo com eles para puxar demo também, mas eu queria sentar e discutir só algum algumas coisas para ver, tipo, como é que o versionamento funciona, como é que eu consigo integrar código aqui,

00:19:51

Bruno Ricardo (Br): Não, mas aí nessa demo é uma pessoa técnica que vai tá, Deo Carlos: como é que vai Sim, Bruno Ricardo (Br): eu acho. Deo Carlos: não. Sim, sim, sim, sim. Bruno Ricardo (Br): Aí tu pode cavar isso. Deo Carlos: Não, não vai ser só para fazer o setup da dem, né? A gente vai ter uma conversinha já e eu tenho como é que a gente integra dados externos. Bruno Ricardo (Br): Isso é para discutir. Deo Carlos: como é que ele fala? Ele tem várias coisas buildam, mas principalmente em relação a dados, enfim, várias coisas a gente não vai querer ficar usando o que eles têm buildam mesmo, Bruno Ricardo (Br): É, se tu quiser então não já me passa a questão, principais pontos que tu quer que eu mando para eles no e-mail. Deo Carlos: né? Bruno Ricardo (Br): Eu vou te copiar, mas eu já respondo lá o Ricardo Ramirez dizendo: "Ó, vamos marcar, mas a gente queria esclarecer essas dúvidas que ele escolhe alguém do time dele para trazer, entendeu? Que ele é mais comercial lá. Deo Carlos: Show. Marcello Pontes: Entendi. Eh, e o vocês já vocês já alguém já cantou vocês para poder trabalhar com Não, Bruno Ricardo (Br): Pentro.

00:20:44

Marcello Pontes: disse que não, p****. Deo Carlos: É bullying a bullying, Marcello Pontes: Não é, Deo Carlos: cara. Marcello Pontes: fugi até o nome agora por com plataforma em cima do Spark, não é? Mais park é tudo agora. Bruno Ricardo (Br): Spark não, inventa Marcello Pontes: Não é o Spark não. Deo Carlos: O Data Break, você tá falando data breaks, Marcello Pontes: Data bri, Bruno Ricardo (Br): não. Marcello Pontes: pô. Deo Carlos: Delta Briak No Flake. Eu nunca usei essas coisas antes. Eh, o Snowflake foi até o cara que comprou o o Streamlit, né? Eles são tem uma integração forte com esse e tal, Bruno Ricardo (Br): Cara, Deo Carlos: que é que, Bruno Ricardo (Br): eu usei data bricks anos, Marcello Pontes: Hum. Deo Carlos: né? Bruno Ricardo (Br): tá? Lá na Loft a gente implementou e escalou. Marcello Pontes: Quando Bruno Ricardo (Br): É muito legal, mas muito loquin. Você cria um p*** Marcello Pontes: é muito louquinho, tô ligado. Bruno Ricardo (Br): loquin. É, você cria um p*** Marcello Pontes: Eu tô perguntando porque é o seguinte.

00:21:31

Bruno Ricardo (Br): lquin e a relação de custo dele é exponencial assim, porque ele meio que abstrai a criação de infraestrutura ali para clustherizar e tal. E aí, tipo, qualquer nó dele, qualquer cluster é sempre uma bazuca para qualquer jobzinho pequeno que vai rodar, sabe? Então, se não tiver ninguém em cima de custo ali, Marcello Pontes: Uhum. Bruno Ricardo (Br): é porrada. Marcello Pontes: Não é legal não. Bruno Ricardo (Br): Agora de usabilidade é espetacular. Marcello Pontes: O que eu tô perguntando é porque eh o que eu tô perguntando é porque recentemente, é lógico que o pessoal quando escutar Data Break, o pessoal da Google, se escutar Data Briak, o pessoal vai, eita, pera aí. Porque eh nos últimos dois anos, velho, eu tenho visto o pessoal adicionar muita funcionalidade no sentido de ser mais amigável para pessoal de negócio, né? Então, tal de live tables e é como se fosse um DBT, né, que o pessoal usa, mas eh eh de maneira gerenciada. Tu não precisa escrever muito código para isso. Tem toda a parte de linhagem. Bruno Ricardo (Br): DLT. Marcello Pontes: Oi. Bruno Ricardo (Br): Chama de DLT.

00:22:28

Bruno Ricardo (Br): Deita live table dele lá. Marcello Pontes: Pronto. Deita lá. Tá b dentro. Deita live table. Tem tem uns negocinos muito legal, mas assim, só queria saber qual é o feeling de vocês com relação a se vocês já eh foram procurados com relação a isso ou Bruno Ricardo (Br): Cara, a gente usou lá bastante assim, eu posso até cavar um benchmark com um cara que era meu p lá, Marcello Pontes: não. Bruno Ricardo (Br): que é o R de engenharia. E pra gente ver como tá hoje o cenário, que quando eu saí tinha uma decisão de migrar de cloud, mas manter o dat bricks. Marcello Pontes: Hum. Bruno Ricardo (Br): Posso ver isso? Marcello Pontes: Eu lembro que o que é pesado, eh, o que é muito mais pesado é você na em vez de você rodar, eu sei que tem o tem o conceito de data process ou é DBU lá, tem uma unidade que eles criam de de Pronto. Bruno Ricardo (Br): DBU, que é o a unidade de processamento deles. Marcello Pontes: Mas o mais o eu lembro que o mais pesado era se você usar Spark. Então, se você teoricamente não precisar usar tanto Spark para realizar as coisas, né?

00:23:27

Bruno Ricardo (Br): É porque ele tinha duas, né? Ele tinha a primeira que era DBU que era em cima do Spark e depois ele tinha criado em cima da conexão sequel que ele tratava separado. Aí tinha custo diferenciado entre os dois assim. Mas você tinha que usar um conector sequel para ele fazer a segunda parte, mas mesmo assim era exponencial do mesmo jeito. Não era todo lugar que plugava bem não. Aí conector cicle algumas funções não rodavam bem, Marcello Pontes: Entendi. Bruno Ricardo (Br): sabe? tipo função de Python e tal, não rodava legal, mas tem tinha pontos bons assim, Marcello Pontes: Entendi. Bruno Ricardo (Br): tipo RES era integrado nativamente, então tu subia dash lá nativo muito fácil Marcello Pontes: Pois é, é, é um loquinho da p****, Bruno Ricardo (Br): assim. Marcello Pontes: né? Porque tu tem a galera usando o SQL, aí já puxa direto para poder fazer. Tem uns alertas também que o quando o D falou me lembrei Bruno Ricardo (Br): tinha eh tinha outra parte lá que o clavador Marcello Pontes: logo. Bruno Ricardo (Br): velho, a parte de time travel dele era muito forte assim para 30 dias funcionava muito

00:24:23

Marcello Pontes: Eles são os criadores do Delta Lake, Bruno Ricardo (Br): bem. É, Marcello Pontes: né? Bruno Ricardo (Br): funcionava muito bem para time travel. E agora o problema da DBU era o seguinte, você pagava o processamento do DBU e pagava a cloud também, tá? Você pagava dobrada, não era não era centralizado não. Marcello Pontes: É o é o é o markup deles mais o valor coro da Bruno Ricardo (Br): Mas valor de cloud, Marcello Pontes: infra. Bruno Ricardo (Br): só que aí no end point de sequel você pagava só o da cloud. Essa era a diferença que eles tinham lá de custo. Marcello Pontes: Entendi. Bruno Ricardo (Br): Assim, eu vou perguntar Osvaldo lá se ele ainda tá usando e eu vejo se a gente cava alguma coisa para saber como tá. Marcello Pontes: Pergunta pro Osvaldo, então pra gente entender, tá bom? Exacte. E o briefer? O briefer é o quê? Bruno Ricardo (Br): É um concorrente desse Rex aí. Não, na verdade não é um concorrente, né? Parece fazer um pouquinho do que o Rex faz, mas eu tinha brincado com eles assim.

00:25:14

Bruno Ricardo (Br): Dar uma olhada. Marcello Pontes: Lembra, lembra o lembra o lembra o metabase Bruno Ricardo (Br): É só que ele roda uns notebookzinho Python lá, ele meio abstrai. Marcello Pontes: e SQL também, Bruno Ricardo (Br): Yes. Marcello Pontes: né? Deo Carlos: Ah, tô vendo aqui o Marcello Pontes: Ele não é, Deo Carlos: link. Marcello Pontes: ele é openource também. Bruno Ricardo (Br): Não, Marcello Pontes: briefer. Bruno Ricardo (Br): ele é Cláudia. Marcello Pontes: Tem um repositório briver Deo Carlos: É Git Hub. É isso. Marcello Pontes: aqui. Deo Carlos: É legal. Marcello Pontes: Isso aconteceu. Essa é a não é, enfim, a gente tem que consumir ascad, mas ele tem um repositório, que dá para pelo menos testar como é que funciona. Да. Deo Carlos: Não, legal. Só só pergun eu, eu eu a pouca experiência que eu tenho emprestura de dados da WS, eu acho muito superior a Atenação para você ficar lidando com seus parquês já é acho que é outra é outro patamar versus o o GCP. Mas Marcello Pontes: A única coisa que eu sinto falta na WS é um BQU.

00:26:42

Deo Carlos: enfim, como minha experiência tem sofrido, tem sido sofrida com big quer todo mundo gosta. Marcello Pontes: É, é, é o quê? Custo. Deo Carlos: É quê? Não é tipo, Marcello Pontes: Что? Deo Carlos: eh, a gente usa ela para no no motor de crédito e era o que já era usado, é onde já tava o dado. Mas tipo assim, você usa para pegar um dado só. Então, cada request você faz lá dura 2 segundos. Uma coisa que era para tipo processar terabyte de dados. Marcello Pontes: Car Deo Carlos: Aí você faz um request que dura 2 segundos, aí a gente ainda paga caro por isso e ainda é uma base que a gente atualiza cada 15 minutos. Então é um dado que é caro, Marcello Pontes: aí eu uso errado, né? Deo Carlos: demorado, eh, Marcello Pontes: Eh, uma coisa que a gente Deo Carlos: e e legado. Tipo assim, Marcello Pontes: vai Deo Carlos: tem uma propriedade boa, mas é mais porque o uso tá errado, né? Não era para tá sendo usado para esse para esse Marcello Pontes: e a gente vai ter que trabalhar bem esse negócio do do workload transacional, né, que é o inverte ETL, né, Bruno?

00:27:47

Marcello Pontes: É o ET é o contrário para jogar pra fonte de dados que vai precisar consumir isso sem ser de maneira analítica. Bruno Ricardo (Br): É o nome bonito das gambiarra de Reversity. Marcello Pontes: Mas é porque ele o que eles fazem é eh é automatizar a infraestrutura de disponibilizar isso Deo Carlos: Bra. Marcello Pontes: numa camada row call, né, velho? Assim, a gente teria que fazer isso, via de regra, o engenheiro de dados ou analist teria que fazer isso manual, eh, manualmente, ou um jovem, alguma coisa assim, para dizer, ó, esse dado aqui ele vai precisar ser consumido, é um número, é uma linha ou são poucas linhas no detalhe ou a gente vai consumir agregar? Se for consumir agregar B query. Senão, Deo Carlos: Então, mas o de vez em quando a gente tem dados agregados, mas eu eu acho que o em geral nosso dado agregado é muito pouco. Me parece que a gente usar um pglizinho ou talvez uma coisa um pouco mais avançada por lo B com e index indexando as coisas, tipo, tudo funciona rápido, barato, simples. Tipo assim, eh eh não me parece fazer sentido a gente, enfim, precisar ter ter, sei lá, um pipe de de de jobs para lidar com tudo isso e processar esse dado para ter esse dadozinho assim um pouco mais eh estruturado final.

00:29:10

Deo Carlos: Tipo, nossa base não é tão grande. Marcello Pontes: M. Deo Carlos: Eh, eu eu me parece assim que, tipo, a gente a gente simplesmente tem ter tem uma réplica da nossa base que vai tá atualizada quase real time. Marcello Pontes: Carteira ativa tem quantos contratos hoje? Deo Carlos: Deixa eu ver. Eu não sei. Marcello Pontes: Só ordem de grandeza, sei lá, Bruno Ricardo (Br): Há milhões, tipo sete Marcello Pontes: 7 milhões. E aí média de parcerá o quê? 12 36 4. Bruno Ricardo (Br): quatro quatro para Marcello Pontes: Hum. Bruno Ricardo (Br): cinco. Marcello Pontes: É. Bruno Ricardo (Br): Vou olhar aqui, né? Marcello Pontes: Não, não, só para ter uma ideia. Deo Carlos: poder fazer Marcello Pontes: Parece ser tão grande, mas enfim. Esse esse dado de rever CTL aí é Deo Carlos: É, eu eu acho que nossa de grandeza tipo lá o dashboard que eu acho que a gente tá quebrando por todos os contratos por Marcello Pontes: mesmo. Deo Carlos: parcela tem 10 milhões, sabe? Marcello Pontes: Uhum. Deo Carlos: Então eu acho que é só de grandeza que de dado que a gente tem mesmo, Marcello Pontes: Entendi.

00:30:22

Deo Carlos: tipo assim, Marcello Pontes: Cabe, cabe num posto? Não, Deo Carlos: não cabe não pô Eh, Marcello Pontes: mas brincadeira, eu acho que eh ETL tem a ganhar com Bry. Consulta vai depender muito, né? Se a gente quiser. É lógico que é um luxo, né, cara? E Del e Bruno, é um luxo você se permitir, porque um dashcode ele vai consultar no detalhe, né? Aquele deveria ser pré-agregado pro dasc. Aí a gente escolhe se vai colocar no bigquer ou não. Se vai colocar porque um negócio que vai agregar para sei lá 1000 linhas, por exemplo, não vai precisar estar na BQU ou pode até tá aí vai ter que ver caso a casa, mas e e estabelecer templates. Não, ó, esse tipo de situação aqui, quando tiver atender requisitos ABCD, a gente deixa quando não, a gente deixa no nessa outra base que a gente vai escolher qual é. Deo Carlos: Então lá lá esse esse esse dashboardzão, ele foi feito assim, exatamente para você se dar o luxo de poder quebrar das fatias que forem lá. Então existem coisas que você tá olhando, testes que aí você vai ver em nível de clientes e tal e precisa nível de contrato.

00:31:30

Deo Carlos: Então a gente não agregou nada lá, tá tudo separado e você agrega no vi e consegue soar tudo e tal. Mas a gente sabe que isso é um luxo que tipo, geralmente nenhum, praticamente nenhum lugar a gente consegue ter isso, né? Eles, a gente fez isso para efetivamente conseguir ter esse luxo. Marcello Pontes: É, mas assim, vai ter caso em tu em que tu vai querer fazer esse aprofundamento, né? Mas se 70% dos casos não vai precisar aprofundar, aí a gente pode estabelecer, ó, olha aqui, se quiser ver no detalhe, vai para cá, entendeu? Dá para fazer isso aí. Mas aí quando eu quando eu tiver de posse desses casos aí, desses dasboss aí, desse dasb que tá dando 15.000 Aí a gente provavelmente vai cair numa dessas situações, né? Deo Carlos: M. Marcello Pontes: E a gente vê como é que como é que pode separar isso daí. Beleza, Bruno Ricardo (Br): fechado. Então, então como sair daqui vou ficar de marcar a reunião e aponto você. Marcello Pontes: fechou? Bruno Ricardo (Br): Se chegar em casa, eu faço. Marcello Pontes: Tá bom. Me marca lá. Bruno Ricardo (Br): Fechou? Marcello Pontes: Eu já integrei o novo calendário da UMI lá, do meu novo usuário da UMI também para poder botar tudo numa ouvir Bruno Ricardo (Br): Oi. Deo Carlos: Quando eu fui olhar ali, Marcello Pontes: tudo, Deo Carlos: eu vi que tinha que tinha dois usuários seus. Marcello Pontes: cara. Tem, tem isso. Bruno Ricardo (Br): Tá como externo_line, Marcelo Ponte. Marcello Pontes: M. Bruno Ricardo (Br): Esse é o oficial. Acho que criou errado, mas acho que isso eh removeram trocaram

A transcrição foi encerrada após 00:33:18

Esta transcrição editável foi gerada por computador e pode conter erros. As pessoas também podem alterar o texto depois que ele for criado.