#PensandoEmDados [3] – Armazenando dados

Como você deve saber, os dados são passíveis de serem coletados de várias maneiras. Sensores, formulários, bases de dados, câmeras e variados sistemas, em conjunto ou separadamente, podem ser usados como coletores de dados. Mas, você já se perguntou onde SEUS DADOS são ARMAZENADOS?

Armazenando dados

Se você já tem conhecimento na área de sistemas e desenvolvimento, sabe que o meio mais tradicional de armazenamento de dados são os Bancos de dados (BD). Os BDs são bases que contém uma estrutura e regras para armazenagem de dados em formatos geralmente pré-estabelecidos, utilizando SGBDs (Sistemas Gerenciadores de Banco de Dados). Os modelos de bancos de dados mais tradicionais e ainda grandemente utilizados são os bancos de dados Relacionais.

O termo RELACIONAL vem do conceito matemático de relações, onde um dado conjunto A pode se relacionar com um B, que por sua vez pode ser relacionado a um C. O conceito de “estar contido” ou “não estar contido” te remete a alguma coisa? Pois é, esse princípio matemático define o que seriam os relacionamentos.

Os BDs relacionais são baseados em TABELAS, que possuem um nome e colunas que definem que tipo de dado será guardado. Os tipos de dados a serem armazenados devem ser definidos na criação da tabela e cada campo da tabela terá um tipo específico de dado, como: String (caracteres), Double/Float/Integer (tipos numéricos), Boolean (tipo booleano), Data/Datatime/TimeStamp (tipos que armazenam data e/ou data e hora), entre outros.

Dos bancos relacionais no mercado, se destacam os robustos ORACLE, SQL SERVER (da Microsoft), BD2 (da IBM) como Bancos proprietários (pagos). Para os gratuitos temos  POSTGRESQL e MySQL (pertencente a Oracle mas com a versão MariaDB gratuita).

Outros tipos de Bases de dados

Existem outros tipos de bancos de dados além dos relacionais. Um dos que está em maior crescimento são os NoSQL (acrônimo para Não Apenas SQL), também conhecidos por Bancos Não Relacionais. Os NoSQL dividem-se basicamente em 4 modelos: Documentos, Grafos, Colunas e Chave-valor [baseado em Amazon, 2018]. O modelo que tem tido maior volume de utilizadores é o baseado em Documentos, dentre eles se destaca o MongoDB.

Além de um banco de dados e seu SGBD, os dados podem ser armazenados em arquivos de texto, planilhas ou em bancos de dados de outro tipo como Objeto-Relacional, Hierárquico, Rede, etc.

De um modo geral, armazenar dados pode ser feito de diversas maneiras e, com isso, sistemas heterogêneos podem ser criados. Para poder gerenciar essa gama de dados vindos e armazenados em distintos formatos, temos o importante papel da INTEGRAÇÃO DE DADOS, tema de nossa próxima postagem. Até lá!

Siga-me nas redes sociais:

Anúncios

#PensandoEmDados [2] – Big Data

Como lidar com tamanha quantidade de dados?

Tudo que fazemos gera dado, aonde quer que formos, estaremos gerando e consumindo os mesmos. Somos as fontes dos próprios dados e geramos o volumoso aglomerado de dados chamado de BIG DATA.

Como lidar com tamanha quantidade de dados?

Saber distinguir os dados entre si e como proceder para lidar com o grande volume é uma das maiores tarefas que temos hoje em dia. BIG DATA é o termo que se associa a um amontoado GIGANTE de dados que pode pertencer a um mesmo domínio (uma empresa, uma rede social, um rastreamento de dispositivo, etc) ou a junção de vários domínios.

Com esse mundo “globalizado” dos dados, existem muitos tipos diferentes de dados. Quem trabalha com programação e lida com bancos de dados sabe os diferentes formatos que os dados podem ter como Strings (caracteres), Double, Float (números decimais), Int (números inteiros) boolean (valor booleano entre Verdadeiro ou Falso) e etc.

Por exemplo, um cadastro ou base de dados cadastrais é formado de casos ou registros (que no caso são os clientes) e variáveis. Para cada cliente temos o resultado das variáveis. Por exemplo, o primeiro cliente da base de dados tem o nome Fulano de Tal, o Sexo Masculino, o Estado Civil Solteiro, a Renda R$2.500,00 por mês, etc [Pinheiro, 2011].

O Gartner Group (2001) traz a seguinte definição sobre o assunto:

“Big data são dados com maior variedade que chegam em volumes crescentes e com velocidade cada vez maior.”

Gartner, 2001

Esse conceito já demonstra os V´s que envolvem o conceito. Enquanto essa definição inicial inclui apenas 3 Vs, hoje já se trabalha com pelo menos 5 (apesar que existem equipes e empresas que já apresentam até 10 deles). Os que podemos chamar de principais, além dos já citados Variedade, Volume e Velocidade são:

  • Veracidade
  • Valor
  • Variabilidade
  • Visualização

A veracidade é item crítico, afinal com dados falsos ou não reais teríamos uma inutilidade dos dados. Seu valor está também ligado a isso, dados terão valor quanto maior sua capacidade de agregar eles tiverem. Variabilidade é a capacidade que os dados tem de variar em si mesmo, valioso quando analisamos dados em tempo real. E a visualização é a demonstração desses dados que na maioria das vezes será através de gráficos e painéis (dashboards). [baseado em IMPACT, 2016]

Para lidar com todas as nuances dos dados, alguns aspectos técnicos como Mineração de Dados, o processo de ETL e conceitos de DataWarehouse e Data Mart são importantes aliados.

No próximo post falaremos mais sobre as técnicas de armazenamento e tratamento de dados.

Siga-me nas redes sociais:

#PensandoEmDados [1] – Origem dos dados

A série de postagens #PensandoEmDados é uma discussão sobre a importância e de como tem se trabalhado com os dados nos dias atuais

A origem dos dados

Toda informação é gerada através deles, os dados. Dados podem ser definidos como

“observações documentadas ou resultados da medição. A disponibilidade dos dados oferece oportunidades para a obtenção de informações.”

[Pinheiro, 2011].

Ou seja, dados são na verdade a apuração de fatos, itens isolados que, ao se juntar e dar sentido ao mesmo, nos gera informação sobre algum assunto. A tríade formada por Dados, Informação e Conhecimento fornecem a nós seres humanos a compreensão e nos dá utilidade aos dados gerados no dia a dia.

A informação é formada a partir dos dados obtidos de diversas fontes (ou de uma única também), de forma a dar sentido aos dados. A informação então é a compreensão dos dados de maneira que permite melhor entender um assunto. Um exemplo é quando vemos dois números: 1 e 2. Quando os vemos em uma operação matemática, geramos uma informação: 1 + 2 = 3. Logo, os dados dentro de um contexto nos geram INFORMAÇÃO.

Já o CONHECIMENTO vem das várias informações obtidas ao longo de um tempo. Em uma empresa, por exemplo, conforme se obtém dados dos clientes, é gerado um perfil do mesmo (informação) que, ao longo de um tempo, gera conhecimento aos gestores sobre aquela pessoa. E, com a junção das informações de vários clientes, o conhecimento sobre o perfil médio de clientes pode ser gerado e com isso agregar valor ao negócio.

De onde vem os dados?

Existem diversos tipos de dados. Eles podem ser obtidos de diversas formas. Com a pluralidade de fontes e conexões que temos hoje, os dados vem de diversos dispositivos diferentes. Smartphones, computadores, sistemas, sensores e muito mais fontes distintas, tornando cada dado único e gerando o que chamamos de Big Data, um volume grande de dados reunidos.

Os dados são gerados quando digitamos uma busca no Google, ao postar uma nova foto/texto/vídeo nas redes sociais, quando “batemos” ponto eletrônico no trabalho, quando usamos cartão como passagem de transporte coletivo, ao definir rota em aplicativos como Waze ou Google Maps e etc.

Tudo que fazemos gera dado, aonde quer que formos, estaremos gerando e consumindo os mesmos. Somos a fonte dos próprios dados e geramos o volumoso aglomerado de dados chamado de BIG DATA.

No próximo post falaremos melhor do conceito de Big data. Até lá.

O Começo da série #PensandoEmDados

Vamos falar sobre DADOS?

Hoje damos início a uma série de posts e artigos sobre DADOS. Irei postar tanto aqui no blog como em minhas redes sociais. Falaremos sobre dados em todo seu contexto, de sua definição aos formatos, tipos e como são utilizados em nosso mundo atual.

Partindo do principio da ORIGEM dos dados, de suas diversas fontes que hoje dão origem como computadores, smartphones, sensores inteligentes, satélites e até os aplicativos do seu celular e os embarcados no seu carro.

Se você quer acompanhar as postagens, SIGA MEU BLOG, adicione aos seus favoritos. Me siga também nas redes sociais (Instagram, Twitter e Facebook) e vamos juntos nessa. Com a boa repercussão das postagens, poderemos criar também uma série de vídeos nessa temática em meu canal do Youtube. O que você acha? deixe seu comentário abaixo e sugestão de tópicos a serem abordados. Te vejo no futuro.

#FarmsBeats: projeto de precisão de dados para agricultura

Cientista-chefe da Microsoft apresenta projeto de agricultura de precisão baseado em uso de #dados.

Autor: @microsoftBR

Em visita ao Brasil, @RanveerChandra, cientista-chefe de Azure Global, apresentou para alguns jornalistas e influenciadores o #FarmBeats, um projeto de agricultura de precisão baseado em uso de #dados.

O programa da Microsoft, que faz parte da iniciativa #AIforEarth, impulsiona a transformação digital dos produtores agrícolas com uso de #IA, sensores de baixo custo e drones.

“Um dos problemas que os produtores enfrentam para aplicar soluções digitais em seus negócios é a falta de conectividade no campo. Por isso desenvolvemos o #AirBand, uma tecnologia que usa TV white spaces para viabilizar conexões em áreas rurais”

Ranveer Chandra.

Chandra ainda acrescentou que a agricultura de precisão permite que “os agricultores usem seus recursos como água, terra e fertilizantes com mais sabedoria. Isso melhora a produtividade e reduz os custos, além de evitar desperdícios e de ser melhor para o meio ambiente”.

Fonte: Twitter da Microsoft Brasil

Python, R e Scala: as linguagens da ciência de dados

O Cientista de Dados Igor Bobriakov escreveu um excelente post (em inglês) sobre as principais bibliotecas para Data Science em linguagens Python, R e Scala. Confira a tradução em português

O Cientista de Dados Igor Bobriakov escreveu um excelente post (em inglês) sobre as principais bibliotecas para Data Science em linguagens Python, R e Scala, com um infográfico bastante didático. Neste post você encontra esse excelente trabalho traduzido na íntegra para o português pelo site Ciência e dados. Boa leitura!

Data Science é um campo promissor e empolgante, desenvolvendo-se rapidamente. Os casos de uso e aplicações da Ciência de Dados estão em constante expansão e o kit de ferramentas para implementar esses aplicativos cresce na mesma proporção.

Cada uma dessas linguagens é adequada para um tipo específico de tarefas, além de cada desenvolvedor escolher a ferramenta mais conveniente para si. Muitas vezes, a escolha de uma linguagem de programação é subjetiva, mas, abaixo, tentaremos saudar as forças de cada uma das três linguagens descritas.

Linguagem R

Projetada principalmente para computação estatística, a linguagem R oferece um excelente conjunto de pacotes de alta qualidade para coleta e visualização de dados estatísticos. Outro ponto forte para a Linguagem R é o conjunto de ferramentas bem desenvolvidas para pesquisa reproduzível. No entanto, R pode ser de alguma forma específico e não é tão bom quando se trata de engenharia e alguns dos casos de programação de propósito geral.

Linguagem Python

Python é uma linguagem de propósito geral com um rico conjunto de bibliotecas para uma ampla gama de propósitos. É tão boa para problemas de matemática, engenharia e Deep Learning quanto para manipulação de dados e visualizações. Esta linguagem é uma excelente escolha para especialistas iniciantes e avançados, o que a torna extremamente popular entre os Cientistas de Dados.

Linguagem Scala

Scala é uma solução ideal para trabalhar com Big Data. A combinação Scala e Apache Spark oferece a oportunidade de aproveitar ao máximo a computação distribuída em cluster de computadores. Portanto, a linguagem possui muitas ótimas bibliotecas para aprendizado de máquina e engenharia; no entanto, falta possibilidades de análise e visualização de dados em comparação com as linguagens anteriores. Se você não estiver trabalhando com Big Data, o Python e R podem mostrar um desempenho melhor que Scala. Mas se estiver trabalhando com Big Data, Scala pode ser a melhor opção.

Continue Lendo “Python, R e Scala: as linguagens da ciência de dados”

Pesquisadores descobrem milhões de registros expostos de usuários do Facebook

Foram achados cerca de 540 milhões de registros em servidores variados

Pesquisadores de segurança descobriram centenas de milhões de registros de usuários do Facebook em um servidor de armazenamento público inadvertidamente. Os dois lotes de registros de usuários foram coletados e expostos por duas empresas terceirizadas, segundo pesquisadores da empresa de segurança UpGuard, que encontraram os dados.

Na pesquisa, a empresa de mídia digital Cultura Colectiva, com sede no México, deixou mais de 540 milhões de registros – incluindo comentários, curtidas, reações, nomes de contas e muito mais – armazenados no servidor de armazenamento Amazon S3 sem uma senha, permitindo a qualquer um acessar os dados. Outro arquivo de backup em um servidor de armazenamento separado da fabricante de aplicativos At The Pool, da Califórnia, continha dados ainda mais sensíveis, incluindo informações sobre mais de 22.000 usuários, como listas de amigos, interesses, fotos, associações a grupos e check-ins de usuários

De acordo com o UpGuard, nenhuma das empresas respondeu aos pedidos para remover os dados. O Facebook entrou em contato com a Amazon para colocar os dados offline, disse um porta-voz do Facebook ao site TechCrunch.

“As políticas do Facebook proíbem o armazenamento de informações do Facebook em um banco de dados público” – disse o porta-voz. O Facebook disse que ainda não há evidências para mostrar que os dados foram mal utilizados, mas que estava sendo investigado.

Chris Vickery, diretor de pesquisa de risco cibernético da UpGuard, disse ainda: “Essas descobertas continuam a destacar os problemas que afligem as empresas que dependem da coleta de dados em massa”.

“Armazenar informações pessoais coletadas de usuários finais é uma obrigação. Quanto mais você tem, maior é a responsabilidade”
– disse Vickery.

Fonte: TechCrunch