#
006 quick sync
#
Marcello / Deo
19 de jan. de 2026 Convidados Marcello Pontes Deo Carlos Anexos Marcello / Deo Registros da reunião Transcrição
Resumo Deo Carlos iniciou a reunião confirmando o acesso de Marcello Pontes ao Notion para colaboração e contextualizou o FINOPS na UME como um sistema que gerencia os processos de cessão de crédito e conciliação de pagamentos. A discussão focou na necessidade de uma nova tabela derivada para o Finops, que está sendo construído como uma camada de validação sobre o sistema antigo, e na importância de uma ferramenta oficial para definir e migrar tabelas transacionais no novo sistema. Além disso, Deo Carlos e Marcello Pontes discutiram a orquestração de jobs transacionais críticos, como os de Finops, com Marcello Pontes sugerindo o Dagster/Daggu.cloud, e ressaltaram a necessidade de integrar alertas e dashboards com as transformações de dados e a importância da adoção das novas ferramentas, como o Atlas e orquestração, baseada no valor agregado que trazem para o stack.
Detalhes Acesso e Compartilhamento de Documentos Deo Carlos iniciou a reunião pedindo confirmação do acesso de Marcello Pontes ao Notion para a colaboração. Marcello Pontes confirmou ter uma conta pessoal e sugeriu o uso do e-mail para compartilhamento. Deo Carlos confirmou que o documento já estava compartilhado e indicou que os componentes necessários para o novo sistema Finops seriam abordados, focando nos problemas a serem resolvidos, não nas tecnologias (00:01:09). Contextualização do FINOPS na UME Marcello Pontes solicitou a Deo Carlos um resumo sobre o problema que o Finops resolve na UME, para melhor contextualizar a discussão. Deo Carlos explicou que o Finops lida principalmente com dois processos: cessão e conciliação. A cessão envolve o empréstimo de dinheiro a clientes via uma infraestrutura bancária (BMP), que depois tem o crédito cedido/comprado por um fundo gerido pela UME (00:02:25). A conciliação trata do retorno dos pagamentos dos clientes para o fundo, além de remunerar outras partes envolvidas, como a operação e o varejista (00:03:45). Geração de Tabelas Derivadas e Migração do Sistema Deo Carlos identificou a necessidade de gerar uma tabela derivada de outras tabelas primárias, pois as tabelas de installments existentes nem sempre são precisas para o processo (00:04:59). Atualmente, o novo esquema Finops está sendo construído como uma camada de validação sobre o sistema antigo, com planos de substituí-lo completamente, já que o sistema existente não é mais mantido. Deo Carlos mencionou que a definição dessa nova tabela, que será provavelmente uma camada silver ou gold, foi construída manualmente (00:07:24). Armazenamento de Dados Críticos e Histórico de Implementação Marcello Pontes questionou se as definições do que estava sendo feito antes, incluindo queries e modelagem, estavam em algum repositório, para que eles pudessem ter acesso. Deo Carlos afirmou que iria verificar o local exato, que provavelmente estaria em SQL ou via Python, para transformar e gerar novos dados (00:08:37). Deo Carlos sugeriu que, por se tratar de um sistema de produção crítico, o processamento, que atualmente ocorre no BigQuery com 15 minutos de atraso, deveria ser realizado em uma base replicada com baixo delay ou até mesmo na própria base de produção, uma vez que o uso exclusivo do BigQuery se deve à equipe que está trabalhando nisso e não a uma lógica técnica (00:09:57). Ferramentas para Tabelas Transacionais e Data Lake Deo Carlos enfatizou a necessidade de uma ferramenta para definir e migrar tabelas para o novo sistema Finops, que é de natureza transacional, para controlar o processo (00:10:47). Eles sugeriram a possibilidade de usar uma tool oficial stack-agnostic para facilitar a documentação e integração com a plataforma de dados, mesmo que geralmente tabelas transacionais sejam mais stack dependent. Além disso, a documentação e organização de datasets externos, como arquivos CSV/Parquet, são cruciais para tornar o processo mais transparente e fácil de entender para outros times (00:12:15) (00:14:46). Marcello Pontes considerou que uma ferramenta como o Atlas, embora não familiarizado a fundo, poderia ajudar na governança e mapeamento da linhagem de dados (00:16:01). Orquestração e Processos Transacionais Deo Carlos discutiu o papel da orquestração, que não deve se limitar à transformação e visualização de dados, mas também suportar a execução de jobs transacionais, o que é frequente no contexto da UME (00:19:18). Eles mencionaram que os jobs de Finops, como cessão e conciliação, são os principais exemplos de orquestração transacional que fazem sentido no momento (00:20:44). Marcello Pontes sugeriu a ferramenta Dagster/Daggu.cloud, desenvolvida em Golang, como uma alternativa que se propõe a ser stack-agnostic para orquestração (00:22:01). Intervenção Manual e Alertas O fluxo inicial de Finops será misto, envolvendo o sistema existente e o novo sistema de supervisão, migrando gradualmente para o novo, com automação, mas prevendo pontos de intervenção manual (00:24:36). Deo Carlos ressaltou a importância de integrar alertas e dashboards com as transformações de dados para monitorar, por exemplo, a estabilidade das variáveis e prevenir problemas decorrentes de mudanças em fontes de dados externas (00:25:42) (00:29:20). A capacidade de gerar alertas baseados em regras de negócio e limites de valor é vista como um recurso poderoso, que atualmente é pouco explorado ou feito de forma ad hoc na empresa. Adoção e Valor Agregado da Plataforma Marcello Pontes concordou que a plataforma deve fornecer um instrumento fácil para monitoramento de KPIs e alertas, impulsionado pelos donos de métricas como o FPD (00:27:24) (00:29:20). Deo Carlos enfatizou que a adoção de novas ferramentas, como a orquestração ou o Atlas, só fará sentido se estiverem trazendo valor e jogando bem com o restante do stack, especialmente a parte analítica, e não apenas por serem "legais" (00:18:17). Deo Carlos indicou que eles seriam os principais motivadores para a migração dos sistemas de crédito e Finops, mas iriam buscar a adoção de outras áreas para validar o valor da plataforma (00:30:39).
Próximas etapas sugeridas Deo Carlos vai verificar exatamente onde estão as definições da tabela Finops e depois compartilhá-las com Marcello Pontes.
#
Marcello / Deo - Transcrição
#
00:00:00
Deo Carlos: Eu acho que não sei. Acho que não sei se fos. Você tá com acesso ao no ou não, né? Tem que compartilhar com você,
Marcello Pontes: tenho,
Deo Carlos: né?
Marcello Pontes: eu tenho, eu tenho uma conta pessoal. Ah, tu pode tentar compartilhar usando o e-mail. Hum. Não sei. Escolhe, cara. Pode ser. Deixa eu compartilhar alguns e-mails aqui.
Deo Carlos: Aquele, aquele externo Marcelo não tem não,
Marcello Pontes: Esse aqui,
Deo Carlos: né? Não vai ter não.
Marcello Pontes: aquele externo não, pode ser. Eh, se tu preferir aquele, eu posso criar uma conta
Deo Carlos: Não, acho que não. Acho que não.
Marcello Pontes: agora.
Deo Carlos: Então, acho que eu já compartilhei com você mesmo.
Marcello Pontes: Eu acho que já tem alguma coisa tua noion compartilhada. Deixa eu ver aqui. Opa,
Deo Carlos: Ah.
Marcello Pontes: pulei p o contador ali. Deixa eu abrir o no aqui que o no deixa eu ver.
#
00:01:09
Marcello Pontes: private
Deo Carlos: compartilhei aqui, tá?
Marcello Pontes: um.
Deo Carlos: É,
Marcello Pontes: Eu tô,
Deo Carlos: eu
Marcello Pontes: eu tô no com aqui.
Deo Carlos: vou,
Marcello Pontes: Ah, tá. Fin 19. OK.
Deo Carlos: eu vou, vamos ver aqui, compartilhar aqui minha tela agora com você, não? Só.
Marcello Pontes: Beleza.
Deo Carlos: Beleza. Então, eh eh eu bati aqui com com Léo Sarmanho hoje mais cedo em relação a isso,
Marcello Pontes: Uhum.
Deo Carlos: né? Tipo o que eu coloquei foi aqui, tipo, escrever os principais componentes, né, que vão ser necessários para esse novo sistema de FINOPS.
Marcello Pontes: Угуm.
Deo Carlos: Não necessariamente a gente vai est definindo aqui tecnologias, né? A gente vai est dizendo os problemas que vão ser resolvidos por alguma tecnologia a ser definida por você, né? Perfeito. Então, eh, problemas para serem resolvidos. Não sei se o os termos que eu uso aqui foram mais claros possíveis, foi mal, mas eu vou tentar deixar claro aqui o espírito fudo aqui,
Marcello Pontes: Zero bron.
Deo Carlos: né?
Marcello Pontes: Se eu não entender alguma coisa,
#
00:02:25
Deo Carlos: Mas tipo,
Marcello Pontes: eu vou te perguntar.
Deo Carlos: é, então digo aqui,
Marcello Pontes: Ô, Del,
Deo Carlos: pode falar.
Marcello Pontes: desculpa, desculpa, desculpa. Eh, mil desculpas, deixa eu te deixa eu te pedir um negócio rapidinho. Eh,
Deo Carlos: Ah.
Marcello Pontes: se tu puder me dá uma descrevida aí quais são o quais são assim de uma maneira geral, qual o problema que Finops resolve dentro da UME, o que o que é que concerne a Finops e assim para me dar um contexto melhor sobre a área de fins de vocês.
Deo Carlos: Perfeito. Finops, nesse contexto aqui do que a gente tá falando, ele tá fazendo dois trabalhos, que é de sessão e conciliação. O que que é sessão? É tipo quando quando a gente quando a gente eh empresta dinheiro para um cliente para ele comprar numa loja, a gente faz isso através de uma infraestrutura, porque a gente não é um banco. Então a gente tem uma uma empresa que é uma bancária, um bancarizadora pra gente, que a gente atua como correspondente bancário chamado BMP.
Marcello Pontes: Угуm.
Deo Carlos: Então ele gera esse esse esse contrato, ele emite essa CCB e depois essa CCB precisa ser cedida barra comprada pelo fundo que é que é gerido pela UM para que a gente efetivamente tenha esteja com esse crédito.
#
00:03:45
Deo Carlos: Então, fazer essa sessão barra compra desse crédito é esse processo de sessão,
Marcello Pontes: Угуm.
Deo Carlos: beleza? Então, para fazer isso, você precisa definir quais são os créditos, eh, ver qual é o valor dele, passar para lá e tal, enfim, botar num formatozinho bacaninha e fazer essa sessão. Tem tem vári assim, eu tô falando aqui de maneira relativamente assim mais simples, né? Mas existem várias instrumentos financeiros diferentes para os quais a gente cede esses créditos, né? Não é só um, são vários diferentes. Existe algumas regras para eles entrarem aí, enfim.
Marcello Pontes: Так.
Deo Carlos: E existe o o problema de de conciliação, que é o quê? A partir do momento que esse cliente vai pagando, esse dinheiro precisa voltar pro fundo, mas precisa remunerar também eh algumas outras partes relacionadas com isso,
Marcello Pontes: operação,
Deo Carlos: a operação e tal.
Marcello Pontes: né?
Deo Carlos: O próprio o próprio a partir do momento que a gente cedeu esse dinheiro para o fundo, o fundo tá comprando isso, mas parte disso, um fio disso só que vai paraa BMP, outra parte disso vai pro varegista que que tá sendo pago. Enfim, então tem essa é a conciliação financeira.
#
00:04:59
Marcello Pontes: Isso é a conciliação, né? Como se fosse umas espécie de rateio aí depois,
Deo Carlos: é a conciliação financeira é exatamente a a a eh
Marcello Pontes: tá?
Deo Carlos: eh a conciliação aqui no caso é tipo a gente tá conciliando as movimentações financeiras foram feitas, né? Então existe a tipo conciliar as movimentações financeiras foram feitos,
Marcello Pontes: Mhm.
Deo Carlos: mas também tipo existe um trabalhões de bater que o valor a ser feito é esse mesmo, aí é feito aí enfim isso é lançado corretamente,
Marcello Pontes: Perfeito.
Deo Carlos: tal.
Marcello Pontes: Não, beleza. Eh,
Deo Carlos: Então,
Marcello Pontes: tem todas as complexidades aí que envolvem desde a captação até, enfim, o a sessão e e a conciliação,
Deo Carlos: é, então,
Marcello Pontes: né?
Deo Carlos: por exemplo, aqui, eh, primeira coisa que a gente precisa conseguir fazer bem feito é gerar uma tabela derivada de outras tabelas mais primárias. Isso acontece por quê?
Marcello Pontes: Угуm.
Deo Carlos: Tipo, por motivos absurdos assim, tipo que a nossa tabela de estallments que tem lá os valores de cada coisa, elas nem sempre tão tão tão tão corretas quanto precisariam estar para esse processo.
#
00:06:07
Deo Carlos: Existe outras tabelas mais primitivas de invoice que geram informações para essa tabela de installments que a gente precisa usar para pegar esses valores e montar uma uma tabelinha estilo essa de estments, mas é efetivamente só a parte de payments eh correta, sabe? E tipo, não é só uma tabela de invo en voces diferentes que precisam ser agregados de
Marcello Pontes: Так.
Deo Carlos: lugares diferentes e de formas diferentes para gerar isso. Enfim, mas a partir do momento você gerou essa tabela, né? Tipo, a gente gostaria de ter essa tabela documentada, bonitinha com os campos, com o linem é responsável, né? todo aquele que já já foi conversado.
Marcello Pontes: Perfeito. Hoje,
Deo Carlos: E
Marcello Pontes: hoje vocês já tem alguma alguma coisa equivalente a isso que vocês querem ou ainda precisa ser construído tipo alguma quer
Deo Carlos: tá começando a tá começando a ter,
Marcello Pontes: complexa?
Deo Carlos: né, tipo essa essa essa definição dessa tabela aqui já tá feita, mas uma coisa que tá acontecendo é o quê?
Marcello Pontes: Uhum.
Deo Carlos: existe um sistema que já roda de sinops e o que se começou a construir em cima
Marcello Pontes: Sì.
Deo Carlos: foi, deixa eu construir em cima aqui uma lógica para validar os o que tá sendo rodado, para tentar pegar erros e pegar problemas e tal, mas que isso é para evoluir, para rodar tudo, né?
#
00:07:24
Deo Carlos: E esse sistema que roda atualmente não existe mais, sabe? Então esse novo esquema deinópolis, ele tá nascendo,
Marcello Pontes: Mhm.
Deo Carlos: mas como uma camada onde vai tá validando, vai tá batendo algumas coisas, vai tá encontrando problemas e tal, mas que em breve é para ele substituir o que roda hoje, tá? Então eh isso, por exemplo, esse tipo de tabela aqui, ele já foi construído na mão, né? Não, ela não tá em nenhum lugar. Um dos votos que ela também não tá em nenhum lugar, foi que eu falei assim, tipo, vamos segurar a onda aqui para fazer isso dentro desse novo plataforma de dados, eh, pra gente tentar nascer isso num num formatozinho mais bacana, ao invés da gente eh definir o nosso formato para isso. É,
Marcello Pontes: Ja.
Deo Carlos: ela, enfim, então essa tabela provavelmente, provavelmente ela vai estar numa camada silver ou gold e pr pela natureza dela aqui, o que parece faz sentido de direção à camada silver, mas enfim.
Marcello Pontes: Uhum.
Deo Carlos: Eh,
Marcello Pontes: Eh, existe existe. Eh, desculpa. Eh,
Deo Carlos: e
Marcello Pontes: essas definições do que tava sendo feito antes, não para para eu pescar nada técnico, mas sobretudo de negócio.
#
00:08:37
Marcello Pontes: Eh, isso aí tá representado de algum repositório através de código, SQL, vio, alguma coisa assim? Se eu quiser ter acesso a isso depois.
Deo Carlos: não o o do que tava sendo feito antes antes o quê? o o sistema atual de
Marcello Pontes: essa essa essas definições eh que tu falou que tá tava o pessoal tava começando a evoluir para para que já
Deo Carlos: Finops.
Marcello Pontes: tem a definição de como é que são as queres que eh como essa eh tabela derivada deveria aparecer. Eu tô falando mais da modelagem e de como pegar os dados desses outros lugares,
Deo Carlos: É, vou ver exatamente onde tá e passo.
Marcello Pontes: tá?
Deo Carlos: Mas é isso provavelmente
Marcello Pontes: Tá.
Deo Carlos: tá tá tá provavelmente talvez vai tá vai tá via, mas talvez esteja até via Python mesmo, sabe? Você pega os dados da tabela, transforma eles e gera novos os novos dados.
Marcello Pontes: Uhum. Entendi.
Deo Carlos: Talvez,
Marcello Pontes: Entendi.
Deo Carlos: talvez.
Marcello Pontes: É porque isso, isso, eu pergunto porque isso é uma fonte de na hora que, beleza, sentamos aqui, a gente definiu algumas direções técnicas, beleza, vamos começar a trabalhar. Então, para eu saber, sabe qual é o modelo eh, por exemplo, das tabelas installments, quais são as diferentes origens e tipos de invoices, como é que a gente vai selecionar isso aí, como é que vai ser, porque a gente ajuda a definir também.
#
00:09:57
Marcello Pontes: Ah, isso aqui parece mais com replicação. Ah, não, isso aqui a gente pode fazer uma incremental aqui, vai ser bem facinho. Então, dá dá algum norte, entendeu? Para
Deo Carlos: Eh, É,
Marcello Pontes: definir.
Deo Carlos: acho acho que nada vai ser fácil e vai ser tudo muito maluco.
Marcello Pontes: Imagino que sim.
Deo Carlos: Mas aí a gente vai ver.
Marcello Pontes: Imagino que sim. Eu tô falando assim, mas eu tenho noção do
Deo Carlos: Mas por exemplo, aqui eu até coloquei aqui,
Marcello Pontes: bronca.
Deo Carlos: eu não sei se faz sentido, mas coloquei aqui tipo anúncio, né? Tipo, hoje em dia esse tipo de coisa, ele tá fazendo isso em cima do big query, né? com os seus 15 minutos de delay e coisas desse tipo. Eh, potencialmente isso deveria estar sendo feito no mínimo numa numa numa base replicada,
Marcello Pontes: Uhum.
Deo Carlos: sabe, para com lei muito baixo no mínimo. Talvez até na própria base mesmo,
Marcello Pontes: Uhum.
Deo Carlos: né? Tipo assim,
Marcello Pontes: com aplicação e tô vendo
Deo Carlos: talvez até na própria na a base que,
#
00:10:47
Marcello Pontes: vindo.
Deo Carlos: desculpa, talvez até na própria base que existe de produção mesmo poderia ter esse tipo de coisa,
Marcello Pontes: Humum.
Deo Carlos: dado que isso é um sistema de produção crítico e tal, sabe? Então, não sei, né? Eh, enfim.
Marcello Pontes: Tá.
Deo Carlos: Então, mas eh a gente imagina que essa tipo de coisa que tá vivendo só no Big Query é uma zoeira que, enfim, isso só existe porque quem tá vendo isso agora é uma pessoa que não tá na engenharia, no time, na galera que trabalhou aqui faz tempo, porque se fosse estaria vendo dentro do do database que lá eles fazem assim, sabe? Enfim,
Marcello Pontes: Mhm.
Deo Carlos: então essa separação de não estarem usando database para estarem só no big query é muito mais de tipo e o time que tá trabalhando aonde do que, enfim, o que faz lógica mesmo,
Marcello Pontes: Entendi.
Deo Carlos: faz sentido mesmo. Mas enfim, então próxima coisa aqui, né? Eh, a gente não vai est só fazendo isso, a gente vai tá efetivamente vai criar novas tabelas e vai estar controlando esse processo numa nova tabela, onde vai ter a informação completa sobre esse processo de Pinopse. Então, a gente vai criar uma nova tabela lá, vai ter o status do processo, vai ter o que tá acontecendo, vai ter algumas datas, vai ter algumas informações, né?
#
00:12:15
Deo Carlos: Então, a gente vai precisar de ter uma ferramenta para definir, migrar. tabelas, né? Então, um dos pontos que eu levantei com você sempre foi tipo,
Marcello Pontes: M.
Deo Carlos: se você achar que isso não faz o menor sentido, tá aqui dentro, né? Eh, tudo bem, mas talvez faça sentido ter uma tul oficial que seja mais estecagnóstico, tipo que vai facilitar documentar direito e fazer as coisas direito e etc e tal, mas se achar que isso eh não faz sentido,
Marcello Pontes: Ко
Deo Carlos: tá tá tá tá dentro desse data plataforma também. Eu não não parece, tipo, a maior parte das pessoas imagina que isso não deveria estar dentro desse data plata isso poderia tá ser uma coisa mais stack dependent e tal, mas enfim. Então, eh, o próximo ponto, eu imagino todos esses pontos a gente já abordou assim, né? Mas tipo, a gente precisa eh controlar,
Marcello Pontes: Ja.
Deo Carlos: conseguir documentar seja eh data externos, seja data que a gente gera, né? Então,
Marcello Pontes: Раз.
Deo Carlos: grande parte da comunicação que se tem nesse processo é por troca de arquivos CSV/parqu, né? Então, se a gente tiver uma forma clara de organizar eles, documentar e acessar no data lei, que seria muito bom, né?
#
00:13:42
Marcello Pontes: Certo.
Deo Carlos: Não é mais tipo que um dos principais pontos aqui é tipo fazer com que esse processo não seja um um
Marcello Pontes: M.
Deo Carlos: black box ali escondido e fica uma coisa mais transparente, né? Tipo, você tá tendo, você tá usando esses assets para fazer isso. Se esver bem documentado, estiver bem bem claro, qualquer pessoa que quiser entender o que tá acontecendo nesse processo, pelo motivo que for, vai conseguir fazer isso mais fácil, né? A gente vai conseguir ter um resolver mais fácil. Eh, as pessoas em times diferentes vão estar fazendo isso da mesma maneira, né? Eh,
Marcello Pontes: Tá.
Deo Carlos: sempre porque é a maneira que, enfim, então,
Marcello Pontes: Eh,
Deo Carlos: eh,
Marcello Pontes: desculpa,
Deo Carlos: Eh
Marcello Pontes: eh, deixa eu deixa eu dar dois passos atrás aqui. Eu vou vou voltar para isso também. Mas essas novas tabelas que, deixa eu tentar só me aprofundar para para ver se entendeu. Eu sei que a gente já conversou sobre isso, mas quando a gente tá falando de novas tabelas e a questão da migração, que a gente vai precisar colocar nessa nova estrutura também, ah, a gente tá falando de tabelas que são, digamos assim, são tabelas que são usadas para fins analíticos, né?
#
00:14:46
Marcello Pontes: Ou são tabelas que são usadas por sistemas que a gente vai migrar também.
Deo Carlos: Não, então aqui, então aqui, aqui nesse caso e migrar que eu tô falando, migrar migrar é tipo evoluir esquema e tal, no sentido de migrar, né? Não migrar de de coisas antigas para coisas novas. Mas tipo, eh eh isso aqui que eu tô que eu que eu tô falando é é uma tabela para um sistema eh transacional mesmo, né? é o transnacional, é o sistema que vai estar sendo responsável por fazer o
Marcello Pontes: M.
Deo Carlos: finse. Então, eh, por isso que até coloquei isso, né? Geralmente isso aqui a gente muitas vezes esse tipo de tabela, esse definição, esse tipo de coisa fica muito mais stack, depende, né? tipo os sistemas que fazem esse tipo de coisa transacional que lida com isso da forma
Marcello Pontes: transacionar.
Deo Carlos: do stack deles, mas eu tô colocando só a possibilidade de talvez a gente ter uma uma
Marcello Pontes: Pelo menos opinião,
Deo Carlos: to que vai ser mais estecagnóstica,
Marcello Pontes: né? Uhum.
Deo Carlos: que eh que vai facilitar a documentação e esse tipo de coisa e vai jogar bem com o resto do stack que vai ser mais analítico, né?
#
00:16:01
Deo Carlos: Apesar disso aqui não ser uma parte analítica do Steck, eh, enfim, talvez se a gente fizer isso direitinho, isso vai jogar bem com a parte analítica e com tudo mais.
Marcello Pontes: Entendi, entendi.
Deo Carlos: Então,
Marcello Pontes: Agora tá
Deo Carlos: enfim, então novamente, se isso não fizer sentido, tá dentro,
Marcello Pontes: claro.
Deo Carlos: OK, né? Tipo, é por isso que eu coloquei se a gente deveria ter isso mesmo ou a gente result involvement of the data platform, né? Eu tô falando aqui,
Marcello Pontes: É assim,
Deo Carlos: né? Ou a gente deveria
Marcello Pontes: é, tem como tu falou, tem tem dois tem duas possibilidades, né? a gente deixa o pessoal de com stack de software fazer isso dentro de
Deo Carlos: По
Marcello Pontes: de ferramenta de data migration, né, para upgrade ou para rowback, por exemplo, de versão, que esse aí o stack de software gerencia bem. Agora, por exemplo, agora alguns stacks de software desse de que interage com o banco de dados, a gente pode também dar um rin para ir trabalhar dentro do de alguma coisa como Atlas, por exemplo, né? Gera o esquema e aí a gente gerencia dentro de alguma eh ferramenta como Atlas.
#
00:17:03
Marcello Pontes: Eu não conheço atas a fundo, mas eu imagino que a gente consiga governar isso e aí ter isso mapeado na liagem de dados eh dentro da ferramenta de governança, né? Mas enfim, não tô dizendo que nem um nem
Deo Carlos: É, eu eu particularmente não usava o Atlét também não.
Marcello Pontes: outro.
Deo Carlos: Eu usava outra mais específica do Python, que era uma Lembit,
Marcello Pontes: Uhum. Usado também.
Deo Carlos: mas eu eu tive alguns amigos já que que já usaram Atlas. Eh, eh, tem um framework que é um pouco mais eh eh stack diagnóstico também, que é esse CC, que a principal ferramenta que ele usa para fazer migração é o Atlas. Enfim, então eh eu só tô levantando essa possibilidade porque, enfim, pode fazer sentido, pode fazer com que facilite as coisas. Eh, eh, eu acho que o pessoal até que tá escrevendo uma parte agora em GO tava experimentando com esse CLC. a gente poderia experimentar com esse atlas. Então, se a gente tivesse, tipo,
Marcello Pontes: Mm.
Deo Carlos: talvez fosse facilitar eh alguns aspectos se a gente tivesse uma forma que não necessariamente ia ser obrigatório para toda a empresa tá utilizando, mas quem queira, quem quisesse utilizar, você fosse dar várias facilidades para isso, né?
#
00:18:17
Deo Carlos: Então,
Marcello Pontes: E isso,
Deo Carlos: eh,
Marcello Pontes: isso também tem que beneficiar a plataforma como tudo, né?
Deo Carlos: tipo,
Marcello Pontes: Assim, eh, isso dá uma motivação, por exemplo, de a gente conseguir ver isso transversalmente, esse dado, né,
Deo Carlos: é,
Marcello Pontes: essa essa linhagem.
Deo Carlos: exatamente. Tipo, exatamente. a gente vai conseguir, tipo, eh, pegar essa documentação que a gente tava fazendo, dessa tabela, dos campos, do responsável, de várias coisas e jogar isso pra frente, pra parte analítica e fazer com que eh quem for usar de parte analítica tiver e tiver consultando uma tabela que foi derivada dessa dessa dessa tabela transacional, ela isso já funciona melhor com EAI e funciona melhor com tudo, porque, enfim, eh, tá dentro de um de um de um de um negócio que que que joga bem, né? Então, cada vez, tipo, faz sentido fazer isso se estiver trazendo valor, né?
Marcello Pontes: Uhum.
Deo Carlos: Se for só tipo use o por quê? Porque o é legal, o que que ele tem a ver com as outras coisas? Nada, mas é legal. Tipo, f***-se,
Marcello Pontes: Entendi.
#
00:19:18
Deo Carlos: né?
Marcello Pontes: Sì.
Deo Carlos: Mas se não ele tipo usando ele a gente consegue pegar várias coisas e fazer com que a parte analítica e outras coisas enfimes. Aí começa a fazer sentido a gente poder prover isso.
Marcello Pontes: Beleza.
Deo Carlos: Enfim, do do mesmo do mesmo jeito assim, né? Tipo, todas essas coisas aqui faz sentido. Isso tá sendo definido se eles estiverem jogando bem juntos, né? Se for cada um um pedacinho separado, porque é legal, tipo, você organiza o seu seu o seu CSV, seus parquos assim, porque é legal e o que que isso ajuda? Não, não ajuda em nada, mas é legal, ninguém vai fazer. Mas se se facilitar facilitar eh de de n maneiras, aí todo mundo vai querer fazer assim, vai querer migrar para modelo que não tiver usando, porque vai ajudar, né?
Marcello Pontes: Entendi. Faz sentido. Beleza.
Deo Carlos: Eh,
Marcello Pontes: Ah.
Deo Carlos: então isso daqui também é uma parte mais eh complicada, mas enfim. Então, orquestração, né? aqui, eh, eu tô colocando que você pode táar usando uma orquestjação só para ficar transformando dados, para ficar visualizando isso, mas você pode tá usando organização para executar jobs que, enfim, no final das contas sejam eh transacionais também.
#
00:20:44
Deo Carlos: E existe isso e vai continuar existindo bastante. Então se o nosso se nossa orquestração facilitar essa parte transacional, isso começa a ter essa mistura, né? Deveria deveria ser ou não deveria não ser,
Marcello Pontes: Угу.
Deo Carlos: mas eu eu eh eh eu não consigo ver assim como a gente melhoraria não sendo, sabe? Então, no passado, eu lidava com essas coisas de maneira coesa.
Marcello Pontes: Да.
Deo Carlos: Então, novamente a gente não vai obrigar ninguém a falar que você tem que usar essa orquestação aqui para você tá fazendo o seu sistema transacional. Mas se você quiser usar, tá, tem tudo isso aqui, sabe? Tudo isso aqui vai ser facilitado e provavelmente eh vai ajudar a adoção das pessoas por pela facilidade de
Marcello Pontes: Ô, Del, eh, dá para mim, por favor,
Deo Carlos: uso.
Marcello Pontes: alguns exemplos de orquestração transacional que fazem sentido aí da da OM. exemplo,
Deo Carlos: Eh,
Marcello Pontes: se se vier na tua mente aí He.
Deo Carlos: deixa é só tipo o principal exemplo que eu que eu que eu pensaria agora, que é o que eu conheço, é esses jobs relacionados com FINOPS, né?
Marcello Pontes: Угуm.
#
00:22:01
Deo Carlos: Sejam esses que estão acontecendo agora só nessa sessão em conciliação, mas outros também que não estão necessariamente dentro do escopo aqui, mas que poderiam estar, né?
Marcello Pontes: Да.
Deo Carlos: Então, eh, não sei, não sei. Deixa a natureza do negócio,
Marcello Pontes: Tá.
Deo Carlos: não sei se tem.
Marcello Pontes: Rapaz, eu eu andei dando uma
Deo Carlos: Não sei.
Marcello Pontes: peça,
Deo Carlos: Pode ser que não exista, pode ser que eu que eu que eu esteja eh que eu não que eu esteja fora dos contextos, né?
Marcello Pontes: tá?
Deo Carlos: Mas enfim,
Marcello Pontes: Ah,
Deo Carlos: mas pode falar.
Marcello Pontes: eu eu nas pesquisas eu andei eu me deparei com uma ferramenta que parece, nunca trabalhei com ela, não. Parece que é relativamente nova, mas eu não sei se já ouviu falar. dagu. Dagudagu.cloud.
Deo Carlos: Dag
Marcello Pontes: Coloquei no chat aqui do da nossa chamada. Parece interessante. Vou dar uma testada depois para saber em que pé ela tá, sabe? Mas orquestração,
Deo Carlos: é de orquestração também.
Marcello Pontes: data pipeline, Cicdation, AI workflows, schedule jobs, se propõe fazer tudo, mas enfim.
#
00:23:07
Deo Carlos: É da GO.
Marcello Pontes: Da google.Cloud.
Deo Carlos: Deixa eu ver
Marcello Pontes: Ouvi falar bem.
Deo Carlos: aqui.
Marcello Pontes: Parece um sistema operacional Windows.
Deo Carlos: Eh, uma uma das coisas uma das coisas interessantes é eh eh que isso não
Marcello Pontes: Windows
Deo Carlos: seja super ligado a só Python para que outras outras coisas possam fazer isso também, né? Seja mais, tipo assim, o degst o prefecto super Python, né? Então, se a gente puder ser um pouco mais diagnóstico para permitir, né, talvez outros usarem, eu acho isso interessante. Eh,
Marcello Pontes: Quer dizer,
Deo Carlos: e mas daqui uma Lucas de
Marcello Pontes: ele ele se propõe a diagnóstico e e enfim,
Deo Carlos: chat.
Marcello Pontes: aí deveria ser relevante, mas ele ele é desenvolvido em Golem. Enfim,
Deo Carlos: E e não e
Marcello Pontes: talvez não seja nemum para vocês, não, tá?
Deo Carlos: e
Marcello Pontes: Mas eh só me passou no radar aqui.
Deo Carlos: eh é que esses pontos vão entrar aqui, sabe? Tipo, e principalmente isso aqui, mesmo quando isso não acontecer de maneira transacional, tipo, a gente vai tá querendo gerar relatório para um cliente ou alguma coisa ou enviar, sabe, e coisas desse tipo.
#
00:24:36
Deo Carlos: Eh, então, eh, a gente que essa orquestração, né, ela, tipo, só para deixar claro aqui, né, inicialmente esse fluxo de Finópoles, ele vai ele vai ser tipo uma coisa mista entre o sistema que já existe hoje e um
Marcello Pontes: Угуm.
Deo Carlos: sistema que tá supervisionando esse sistema que já que já existe hoje, cada vez mais vai migrar para só um novo sistema de uma forma mais manual ainda assim, tipo a pessoa falando, tipo, executa esse passo, deixa eu ver o que tá acontecendo, executa esse outro e tal. E cada vez mais isso vai ser automatizado. Mas mesmo com bastante automação, provavelmente ele vai ter que existir pontos de vez em quando onde você vai ter que ter uma intervenção manual. Não necessariamente vai ser uma intervenção manual sistemática, né?
Marcello Pontes: Uhum.
Deo Carlos: não sabia como colocar aqui,
Marcello Pontes: Tem que suportar isso.
Deo Carlos: mas tipo, não é que você vai lá e vai rodar um negócio na mão, né? Mas você vai lá e vai ter que selecionar alguma coisa e falar: "Não, eu quero que seja de tal forma e roda assim". Seja eh via um dashboard que você vai estar configurando isso, seja uma tesque onde tem um main loop que manda o negócio para prova ou para você configurar
#
00:25:42
Marcello Pontes: Угуm.
Deo Carlos: como é que você gostaria e tal. Então, eh, para esse fluxo de Finops, isso vai ser importante. Eh, uma coisa só, só tipo, eu coloquei esses caras aqui embaixo só para especul de vez em quando precisa de coisas relacionadas à kill também, né, filas e tal. Não sei se se vai entrar no escopo, talvez não devesse. Existe uma coisa relacionada com alertas que esse tipo de coisa aqui, eh, a gente ter isso jogando junto, eu acho bem importante. Então, por exemplo, eh, a gente a gente faz algumas transformações de alguns dados para, sei lá, tá vendo estabilidade de de de variáveis que a gente usa, que a gente consome para ver se os nossos modelos não estão sendo zoados. Então, eh, se a gente tá usando uma ferramenta onde a gente tá criando um dashboard para ver essa estabilidade, esse dashboard, a gente consegue gerar alertas, parece ser legal. Ou se algo consegue consumir desse dashboard para gerar alerta relaçado com isso é legal, sabe? Então, seja tipo,
Marcello Pontes: M.
Deo Carlos: seja coisas super técnicas quanto isso, seja algumas invariantes até mais simples, sabe? do negócio e tipo tais coisas, o limite máximo que a gente poderia ter de valor devia ser tal coisa.
#
00:27:24
Deo Carlos: Se tiver cedendo nisso, a gente quer ser alertado. Se enfim, sabe? Eu tô criando aqui um avio que tá batendo algumas coisas. Então, quando essa vi, quando as coisas dessa vi não tiverem batendo, ser alertado e coisas desse tipo, é algo que na empresa praticamente não existe. Não é feito,
Marcello Pontes: Угу.
Deo Carlos: quando é feito, é feito na mão. Se a gente, se essa nossa ferramenta de dados facilitar bastante isso, seria super poderoso. E uma das coisas que eu me lembro até eu eu fui começar para experimentar o Rex hoje, mas não comecei, mas vou vou ver se eu faço isso hoje à noite, é que se eu não me engano eles tinham falado que tinham coisas ligadas a isso, né? Tipo, você monta o dashboard, você pode colocar lá e falar, tipo, eu quero rodar esse dashboard de tanto e tanto tempo e se tal coisa acontecer, ser alertado e coisas desse tipo. E isso é coisa que daria um super poder assim bizarro para quem tivesse usando isso, né, esse sistema.
Marcello Pontes: É,
Deo Carlos: que é algo que hoje eh não é feito de maneira assim natural,
Marcello Pontes: para infraestrutura, tu sabes, tem um tem um stack bem famoso que faz exatamente isso,
#
00:28:26
Deo Carlos: sabe?
Marcello Pontes: né? Tem o para Cubernet, por exemplo, tem o Prometeus. Prometeus ele coleta métricas e aí tu consome métricas do Promet grafando. O grafando ele faz exatamente isso, né? Eh, você tem a médica,
Deo Carlos: Não, não, não. Ele faz exatamente isso,
Marcello Pontes: sendo que isso aí é para é para é sendo que isso aí é para negócio,
Deo Carlos: mas vai para sistemas, né? para sistema.
Marcello Pontes: né?
Deo Carlos: É,
Marcello Pontes: Tô falando que o conceito é o mesmo,
Deo Carlos: eh, sim,
Marcello Pontes: mas isso é para negócio.
Deo Carlos: exatamente,
Marcello Pontes: É, então,
Deo Carlos: exatamente. Não, então, eh na gestora a gente usava bastante e aqui a gente começou a usar.
Marcello Pontes: então,
Deo Carlos: Por acaso, foi esse fim de semana que a gente até colocou isso até no no no motor para tá usando, grafando e tal, não sei o quê, mas que a gente consiga eh ter essas regras de negócio que você tá
Marcello Pontes: isso aí
Deo Carlos: rodando, tá rodando periodicamente quando uma coisa eh tá fora alerta.
#
00:29:20
Deo Carlos: Então, às vezes isso é usado como regra de negócio, assim, às vezes é usado de maneira um pouco mais técnica, como a questão que eu falei de de estabilidade de parâmetros. Esse negócio de estabilidade parâmetro não é algo tipo assim, ah, eu tô pensando nisso como um exemplo legal, é algo que tipo já deu muito problema na OM em estar consumindo eh fontes deidades de birô, onde eles mudam esse tipo de comportamento e as coisas começam a ter respostas muito diferentes e demora-se a pegar esse tipo de problema porque não tem dashboards, não tem alertas, não tem coisas relacionados com isso. talvez outra esse tipo de coisa criado aqui, existe em um ponto ou outro e tal, mas de uma maneira bem ad rock, bem, sabe,
Marcello Pontes: Uhum.
Deo Carlos: eh,
Marcello Pontes: Ó, eu vejo,
Deo Carlos: que
Marcello Pontes: eu vejo que a contribuição de da definição de plataforma que a gente vai fazer,
Deo Carlos: que
Marcello Pontes: ela vai ajudar eh a você ter um instrumento fácil de fazer isso para que para que a partir daí eh o
Deo Carlos: é isso.
Marcello Pontes: maior motor que eu acho que vai eh não vou falar drive não, mas que vai impulsionar essa vocês têm exatamente esses KPIs eh monitorados e e com alerta, vai ser tipo o o dono, né?
#
00:30:39
Marcello Pontes: Por exemplo, quem é o dono do, sei lá, do FPD ou de algum, alguma métrica dessa aí, vai, ó, eu quero monitorar isso aqui. E a pessoa tem que ter no momento que o chefe don
Deo Carlos: É o crédito. É, gente. Então tô eh a gente vai fazer isso.
Marcello Pontes: pedir.
Deo Carlos: A gente tipo a gente faz isso, já tem um dashboard lá enorme, tem várias coisas, tem não sei o quê. E eu sou o principal cara que vou estar mais motivado para est migrando isso para cá.
Marcello Pontes: Exato.
Deo Carlos: Eu só não vou est talvez forçando essa migração tão forte quanto deveria, porque eu vou est tentando forçar essa migração com outras pessoas para ver se tá fazendo sentido também.
Marcello Pontes: Entendi.
Deo Carlos: Porque se ela só tiver fazendo sentido pra gente e os outros não adotarem,
Marcello Pontes: Não tem baína.
Deo Carlos: isso não faz sentido, né? Então não tem, né? Então, tipo, eu vou tá tentando puxar isso por um lado nessa parte de crédito Finis e tal, para tá experimentando isso na mão, mas eh eu vou estar me esforçando bastante para tentar fazer com que outras
Marcello Pontes: para evangelizar,
Deo Carlos: áreas estejam migrando também.
Marcello Pontes: né?
Deo Carlos: É só dê só um segundo aqui que esse aqui
Marcello Pontes: Vai lá.**