#PensandoEmDados [3] – Armazenando dados

Como você deve saber, os dados são passíveis de serem coletados de várias maneiras. Sensores, formulários, bases de dados, câmeras e variados sistemas, em conjunto ou separadamente, podem ser usados como coletores de dados. Mas, você já se perguntou onde SEUS DADOS são ARMAZENADOS?

Armazenando dados

Se você já tem conhecimento na área de sistemas e desenvolvimento, sabe que o meio mais tradicional de armazenamento de dados são os Bancos de dados (BD). Os BDs são bases que contém uma estrutura e regras para armazenagem de dados em formatos geralmente pré-estabelecidos, utilizando SGBDs (Sistemas Gerenciadores de Banco de Dados). Os modelos de bancos de dados mais tradicionais e ainda grandemente utilizados são os bancos de dados Relacionais.

O termo RELACIONAL vem do conceito matemático de relações, onde um dado conjunto A pode se relacionar com um B, que por sua vez pode ser relacionado a um C. O conceito de “estar contido” ou “não estar contido” te remete a alguma coisa? Pois é, esse princípio matemático define o que seriam os relacionamentos.

Os BDs relacionais são baseados em TABELAS, que possuem um nome e colunas que definem que tipo de dado será guardado. Os tipos de dados a serem armazenados devem ser definidos na criação da tabela e cada campo da tabela terá um tipo específico de dado, como: String (caracteres), Double/Float/Integer (tipos numéricos), Boolean (tipo booleano), Data/Datatime/TimeStamp (tipos que armazenam data e/ou data e hora), entre outros.

Dos bancos relacionais no mercado, se destacam os robustos ORACLE, SQL SERVER (da Microsoft), BD2 (da IBM) como Bancos proprietários (pagos). Para os gratuitos temos  POSTGRESQL e MySQL (pertencente a Oracle mas com a versão MariaDB gratuita).

Outros tipos de Bases de dados

Existem outros tipos de bancos de dados além dos relacionais. Um dos que está em maior crescimento são os NoSQL (acrônimo para Não Apenas SQL), também conhecidos por Bancos Não Relacionais. Os NoSQL dividem-se basicamente em 4 modelos: Documentos, Grafos, Colunas e Chave-valor [baseado em Amazon, 2018]. O modelo que tem tido maior volume de utilizadores é o baseado em Documentos, dentre eles se destaca o MongoDB.

Além de um banco de dados e seu SGBD, os dados podem ser armazenados em arquivos de texto, planilhas ou em bancos de dados de outro tipo como Objeto-Relacional, Hierárquico, Rede, etc.

De um modo geral, armazenar dados pode ser feito de diversas maneiras e, com isso, sistemas heterogêneos podem ser criados. Para poder gerenciar essa gama de dados vindos e armazenados em distintos formatos, temos o importante papel da INTEGRAÇÃO DE DADOS, tema de nossa próxima postagem. Até lá!

Siga-me nas redes sociais:

Anúncios

#PensandoEmDados [2] – Big Data

Como lidar com tamanha quantidade de dados?

Tudo que fazemos gera dado, aonde quer que formos, estaremos gerando e consumindo os mesmos. Somos as fontes dos próprios dados e geramos o volumoso aglomerado de dados chamado de BIG DATA.

Como lidar com tamanha quantidade de dados?

Saber distinguir os dados entre si e como proceder para lidar com o grande volume é uma das maiores tarefas que temos hoje em dia. BIG DATA é o termo que se associa a um amontoado GIGANTE de dados que pode pertencer a um mesmo domínio (uma empresa, uma rede social, um rastreamento de dispositivo, etc) ou a junção de vários domínios.

Com esse mundo “globalizado” dos dados, existem muitos tipos diferentes de dados. Quem trabalha com programação e lida com bancos de dados sabe os diferentes formatos que os dados podem ter como Strings (caracteres), Double, Float (números decimais), Int (números inteiros) boolean (valor booleano entre Verdadeiro ou Falso) e etc.

Por exemplo, um cadastro ou base de dados cadastrais é formado de casos ou registros (que no caso são os clientes) e variáveis. Para cada cliente temos o resultado das variáveis. Por exemplo, o primeiro cliente da base de dados tem o nome Fulano de Tal, o Sexo Masculino, o Estado Civil Solteiro, a Renda R$2.500,00 por mês, etc [Pinheiro, 2011].

O Gartner Group (2001) traz a seguinte definição sobre o assunto:

“Big data são dados com maior variedade que chegam em volumes crescentes e com velocidade cada vez maior.”

Gartner, 2001

Esse conceito já demonstra os V´s que envolvem o conceito. Enquanto essa definição inicial inclui apenas 3 Vs, hoje já se trabalha com pelo menos 5 (apesar que existem equipes e empresas que já apresentam até 10 deles). Os que podemos chamar de principais, além dos já citados Variedade, Volume e Velocidade são:

  • Veracidade
  • Valor
  • Variabilidade
  • Visualização

A veracidade é item crítico, afinal com dados falsos ou não reais teríamos uma inutilidade dos dados. Seu valor está também ligado a isso, dados terão valor quanto maior sua capacidade de agregar eles tiverem. Variabilidade é a capacidade que os dados tem de variar em si mesmo, valioso quando analisamos dados em tempo real. E a visualização é a demonstração desses dados que na maioria das vezes será através de gráficos e painéis (dashboards). [baseado em IMPACT, 2016]

Para lidar com todas as nuances dos dados, alguns aspectos técnicos como Mineração de Dados, o processo de ETL e conceitos de DataWarehouse e Data Mart são importantes aliados.

No próximo post falaremos mais sobre as técnicas de armazenamento e tratamento de dados.

Siga-me nas redes sociais:

#PensandoEmDados [1] – Origem dos dados

A série de postagens #PensandoEmDados é uma discussão sobre a importância e de como tem se trabalhado com os dados nos dias atuais

A origem dos dados

Toda informação é gerada através deles, os dados. Dados podem ser definidos como

“observações documentadas ou resultados da medição. A disponibilidade dos dados oferece oportunidades para a obtenção de informações.”

[Pinheiro, 2011].

Ou seja, dados são na verdade a apuração de fatos, itens isolados que, ao se juntar e dar sentido ao mesmo, nos gera informação sobre algum assunto. A tríade formada por Dados, Informação e Conhecimento fornecem a nós seres humanos a compreensão e nos dá utilidade aos dados gerados no dia a dia.

A informação é formada a partir dos dados obtidos de diversas fontes (ou de uma única também), de forma a dar sentido aos dados. A informação então é a compreensão dos dados de maneira que permite melhor entender um assunto. Um exemplo é quando vemos dois números: 1 e 2. Quando os vemos em uma operação matemática, geramos uma informação: 1 + 2 = 3. Logo, os dados dentro de um contexto nos geram INFORMAÇÃO.

Já o CONHECIMENTO vem das várias informações obtidas ao longo de um tempo. Em uma empresa, por exemplo, conforme se obtém dados dos clientes, é gerado um perfil do mesmo (informação) que, ao longo de um tempo, gera conhecimento aos gestores sobre aquela pessoa. E, com a junção das informações de vários clientes, o conhecimento sobre o perfil médio de clientes pode ser gerado e com isso agregar valor ao negócio.

De onde vem os dados?

Existem diversos tipos de dados. Eles podem ser obtidos de diversas formas. Com a pluralidade de fontes e conexões que temos hoje, os dados vem de diversos dispositivos diferentes. Smartphones, computadores, sistemas, sensores e muito mais fontes distintas, tornando cada dado único e gerando o que chamamos de Big Data, um volume grande de dados reunidos.

Os dados são gerados quando digitamos uma busca no Google, ao postar uma nova foto/texto/vídeo nas redes sociais, quando “batemos” ponto eletrônico no trabalho, quando usamos cartão como passagem de transporte coletivo, ao definir rota em aplicativos como Waze ou Google Maps e etc.

Tudo que fazemos gera dado, aonde quer que formos, estaremos gerando e consumindo os mesmos. Somos a fonte dos próprios dados e geramos o volumoso aglomerado de dados chamado de BIG DATA.

No próximo post falaremos melhor do conceito de Big data. Até lá.

Treinamento Power BI em João Pessoa

Entre os dias 22 e 24 de agosto, acontece em João Pessoa o treinamento de Dashboards Estratégicos com Power BI

Você está preparado para o mercado de trabalho?
Criar relatórios na mão, no Excel e depois colocar em um Slide dá muito trabalho.
Aprenda a criar Dashboards para acompanhamento dos principais indicadores da sua área de negócio e tome as melhores decisões! Com a plataforma de Business Intelligence (BI) Power BI você não precisa ser um cientista de dados para gerar análises complexas.

A Work Avanti traz direto de Recife o Treinamento Criação de Dashboards Estratégicos com Power BI. Acontecerá em João Pessoa nos dias 22, 23 (noite) e 24 de agosto.

Para informações completas sobre o treinamento, acesse o link de inscrição ou pergunte pelo perfil da @workavantisolucoes no Instagram.

Aprendendo banco de dados com MySQL e Workbench

Uma nova série-tutorial sobre MySQL com a ferramenta Workbench.Um pontapé inicial para quem quer aprender banco de dados

MySQL é um dos bancos de dados mais populares do mundo. Hoje comandado pela Oracle, sua versatilidade e o fato de ser open source favorecem a popularidade.

Estou começando uma série-tutorial sobre MySQL com a ferramenta Workbench. Ela será um pontapé inicial para quem quer aprender banco de dados e principalmente o MySQL.

Os vídeos estarão disponíveis publicados em meu canal no Youtube (já clique aqui e se inscreva). A série mostrará desde como instalar o banco e a ferramenta até a manipulação de dados, com a criação de Schemas, Tabelas, Inserção de dados e um CRUD completo.

Vem comigo, inscreva-se em meu canal e siga-me em meu blog para ter acesso a todo o material.

14 ferramentas que todo analista de processos deveria conhecer

14 ferramentas para analistas de processos que podem otimizar o dia a dia desse profissional.

A empresa SML lançou em seu blog dica de aplicativos super úteis para gestão e análise de processos. As ferramentas para analistas de processos vêm sendo desenvolvidas pelo ramo da tecnologia de informação e trazem, a cada dia, novas funções para serem exploradas. Elas permitem que os profissionais da área eliminem tarefas desnecessárias, reduzindo o tempo de gerenciamento das atividades e integrando sistemas.

Neste artigo, listamos 14 ferramentas para analistas de processos que podem otimizar o dia a dia desse profissional. Dividimos a lista de acordo com as funções: organização de tarefas, gestão de informações, comunicação, videoconferências e mapeamento de processos.

Organização de tarefas

1. Trello

Utilize se você busca organizar manualmente suas tarefas, pois o Trello é uma ferramenta que substitui notas autoadesivas(ou os famosos posts-its), planilhas, agenda, e e-mails. É uma forma de organizar visualmente, em um só lugar, todas as tarefas a serem realizadas.

Além disso, o Trello permite que as listas de afazeres sejam gerenciadas e o andamento seja acompanhado por toda a equipe de forma sincronizada, já que a atualização é instantânea.

Exemplo de tela do Trello
Exemplo de tela do Trello

A ferramenta funciona como uma lista de tarefas, kanban, com cartões que podem ser marcados com cores, status de andamento, responsável pela atividade e prazos. Também permite adicionar comentários e feedbacks e sincronizar com todos os dispositivos. Uma de suas vantagens é a boa visualização de toda a linha de produção das tarefas.

A atualização é instantânea e pode ser visualizada por todo o time. A plataforma é acessada pelo navegador da internet, sem que seja necessário trabalho com sua instalação. O melhor de tudo: há uma versão free bem completa!

2. Asana

Asana é uma plataforma online utilizada para a organização de tarefas e de gerenciamento de tarefas colaborativas. Dentro dessa plataforma, é possível administrar e criar trabalhos, dividir as tarefas de forma rápida e prática, definir responsáveis e prazo, além de convidar seus amigos e colegas de trabalho para participarem da equipe.

Para utilizar a plataforma, é necessário fazer um cadastro, cedendo seu e-mail e informações pessoais. A partir daí, basta criar um time e definir quem serão os convidados do grupo de trabalho.

Após essa etapa de criação, você pode começar a administrar as tarefas, por meio do painel inicial, bastante fácil de entender e de uso bastante intuitivo. A criação de tarefas também se dá nesse mesmo painel.

Gestão de informações

3. OneDrive

OneDrive é uma poderosa ferramenta de gestão de informação que você, analista de processo, pode utilizar. É de fácil acesso e, por ser vinculada à Microsoft, é compatível com vários outros programas da marca.

Dispõe de um serviço de armazenamento em nuvem, bastando uma conta Microsoft. Além de armazenar, é dado ao usuário a opção de definir quais arquivos serão públicos e quais serão privados e disponíveis apenas para pessoas autorizadas. Dessa forma, você consegue compartilhar arquivos com sua equipe facilmente e evita a duplicação de informações e versões de um mesmo documento.

4. Dropbox Paper

Dropbox Paper é um editor colaborativo de documentos. Ele utiliza a tecnologia de armazenamento em nuvem do Dropbox e, a partir daí, torna possível a sincronização em tempo real e a participação de vários colaboradores ao mesmo tempo.

É gratuito e está disponível para diversas plataformas, como Android e iOS. Ele apresenta uma interface intuitiva e bastante simples de ser entendida. Para utilizá-lo, é necessário ter uma conta no Dropbox.

A aparência simples do aplicativo não pode ser confundida com seu potencial, que é alto, por causa, sobretudo, de uma estrutura poderosa. O aplicativo é uma ótima alternativa para você e o seu time, com o diferencial de os conteúdos ficarem salvos na própria plataforma.

5. ECM

ECM é a sigla para Enterprise Content Management. Essa ferramenta permite que as empresas realizem uma melhor organização e administração de tudo aquilo que diz respeito à informação empresarial.

Ela auxilia as empresas com a automatização do desenvolvimento de estratégias, armazenamento de informações, captura de dados e distribuição de documentos. Conta com uma série de tecnologias para centralizar e tornar uniforme o tratamento de informações de diversas origens.

Pode ser utilizada pela empresa de várias formas, com a devida estruturação e padronização dos dados provenientes das diversas áreas da empresa, fazendo com que a sua equipe produza de forma eficiente e evitando erros.

Comunicação

Continue Lendo “14 ferramentas que todo analista de processos deveria conhecer”

Mini Projeto PHP atualizado

Olá, meus caros.

Andei atualizando o mini projeto em PHP com pequeno admin conectado ao MySQL. É um sistema que utilizo didaticamente para ensinar os primeiros passos com PHP.

Os arquivos estão em meu Github e o sistema rodando pode ser visto pelo Heroku. O projeto está aberto no git caso alguém queira dar um fork ou ajudar em melhorias no mesmo.

Ele inclui Boostrap para a parte front-end.