#PensandoEmDados [2] – Big Data

Como lidar com tamanha quantidade de dados?

Tudo que fazemos gera dado, aonde quer que formos, estaremos gerando e consumindo os mesmos. Somos as fontes dos próprios dados e geramos o volumoso aglomerado de dados chamado de BIG DATA.

Como lidar com tamanha quantidade de dados?

Saber distinguir os dados entre si e como proceder para lidar com o grande volume é uma das maiores tarefas que temos hoje em dia. BIG DATA é o termo que se associa a um amontoado GIGANTE de dados que pode pertencer a um mesmo domínio (uma empresa, uma rede social, um rastreamento de dispositivo, etc) ou a junção de vários domínios.

Com esse mundo “globalizado” dos dados, existem muitos tipos diferentes de dados. Quem trabalha com programação e lida com bancos de dados sabe os diferentes formatos que os dados podem ter como Strings (caracteres), Double, Float (números decimais), Int (números inteiros) boolean (valor booleano entre Verdadeiro ou Falso) e etc.

Por exemplo, um cadastro ou base de dados cadastrais é formado de casos ou registros (que no caso são os clientes) e variáveis. Para cada cliente temos o resultado das variáveis. Por exemplo, o primeiro cliente da base de dados tem o nome Fulano de Tal, o Sexo Masculino, o Estado Civil Solteiro, a Renda R$2.500,00 por mês, etc [Pinheiro, 2011].

O Gartner Group (2001) traz a seguinte definição sobre o assunto:

“Big data são dados com maior variedade que chegam em volumes crescentes e com velocidade cada vez maior.”

Gartner, 2001

Esse conceito já demonstra os V´s que envolvem o conceito. Enquanto essa definição inicial inclui apenas 3 Vs, hoje já se trabalha com pelo menos 5 (apesar que existem equipes e empresas que já apresentam até 10 deles). Os que podemos chamar de principais, além dos já citados Variedade, Volume e Velocidade são:

  • Veracidade
  • Valor
  • Variabilidade
  • Visualização

A veracidade é item crítico, afinal com dados falsos ou não reais teríamos uma inutilidade dos dados. Seu valor está também ligado a isso, dados terão valor quanto maior sua capacidade de agregar eles tiverem. Variabilidade é a capacidade que os dados tem de variar em si mesmo, valioso quando analisamos dados em tempo real. E a visualização é a demonstração desses dados que na maioria das vezes será através de gráficos e painéis (dashboards). [baseado em IMPACT, 2016]

Para lidar com todas as nuances dos dados, alguns aspectos técnicos como Mineração de Dados, o processo de ETL e conceitos de DataWarehouse e Data Mart são importantes aliados.

No próximo post falaremos mais sobre as técnicas de armazenamento e tratamento de dados.

Siga-me nas redes sociais:

O Começo da série #PensandoEmDados

Vamos falar sobre DADOS?

Hoje damos início a uma série de posts e artigos sobre DADOS. Irei postar tanto aqui no blog como em minhas redes sociais. Falaremos sobre dados em todo seu contexto, de sua definição aos formatos, tipos e como são utilizados em nosso mundo atual.

Partindo do principio da ORIGEM dos dados, de suas diversas fontes que hoje dão origem como computadores, smartphones, sensores inteligentes, satélites e até os aplicativos do seu celular e os embarcados no seu carro.

Se você quer acompanhar as postagens, SIGA MEU BLOG, adicione aos seus favoritos. Me siga também nas redes sociais (Instagram, Twitter e Facebook) e vamos juntos nessa. Com a boa repercussão das postagens, poderemos criar também uma série de vídeos nessa temática em meu canal do Youtube. O que você acha? deixe seu comentário abaixo e sugestão de tópicos a serem abordados. Te vejo no futuro.

5 linguagens de programação poderosas para ‘esticar’ seu cérebro

O pessoal da Dev.to fez uma postagem boa falando sobre linguagens de programação e a prática de aprender pelo menos uma nova linguagem de programação por ano. Segue a tradução das melhores partes da matérias feita por Jacob Herrington.

O raciocínio por trás dessa prática tem muito pouco a ver com marketing de si mesmo ou mesmo usando a linguagem. Na realidade, o benefício mais significativo de aprender uma nova linguagem de programação é o alongamento da mente e a criação de novos caminhos neurais que permitem que você examine os problemas de maneiras novas e únicas. Eu compilei esta lista de linguagens principalmente porque eles são linguagens que eu estou interessado em gastar mais tempo aprendendo, mas também porque elas exemplificam características de linguagem específicas e ideologias de programação muito bem.

Ruby

Linguagem Orientada a Objetos criada pelo Dr. Alan Kay, que uma vez disse: “Programação orientada a objetos para mim significa apenas mensagens, encapsular e esconder o estado e extrema ligação de todas as coisas.” Ruby é bom nessas coisas.

Elixir

Elixir é uma linguagem que abraça uma ideia chamada Modelo de Ator, idealizada pelo Dr. Carl Hewitt. No modelo de ator, tudo é um ator. (“Tudo é um ator” soa muito como “tudo é um objeto”, mas vou deixar essas comparações com os acadêmicos). Aprender a pensar sobre os atores é um exercício mental desafiador que levará a enxergar os problemas sob uma nova luz.

Rust

Rust é uma linguagem rápida e compilada que traz algumas idéias novas para a mesa. É expressamente destinado a resolver vários problemas de segurança de memória que surgem ao escrever C ++, que é freqüentemente usado para resolver problemas similares de programação de sistemas.

TypeScript

O alongamento cerebral no TypeScript vem da abordagem incremental na qual ele pode ser adotado e seu foco na tipagem estática. Se, como eu, você vem de um plano de fundo da Web com linguagens como Python ou PHP, a tipagem estática geralmente é um conceito estranho. No entanto, o TypeScript é uma maneira amigável de se apresentar a esse recurso de linguagem útil.

Haskell

Haskell é descrito como “puramente funcional”, o que significa que o estado é inteiramente imutável nessa linguagem de programação. Aprender a trabalhar com um estado totalmente imutável força você a desenvolver uma abordagem totalmente diferente para trabalhar com dados. Trabalhar com a Haskell resultará no desenvolvimento de alguma compreensão do cálculo lambda, que é relevante para toda a programação funcional.

Em resumo, cada uma dessas linguagens tem um jeito diferente de se programar, logo, seu cérebro precisará realmente “estiver” nos conceitos de uso e te levar a estudar e evoluir. É um caminho sem volta!

E aí, conhece alguma dessas LINGUAGENS? Deixe seu comentário.

Fonte: Dev.To

Aula Inaugural 2019.2 Faculdade SENAI PB

No dia 01 de agosto teremos a aula que dará inicio ao semestre 19.2 da faculdade SENAI da Paraíba

No próximo dia 01 de agosto, às 18:30h, teremos uma aula que marcará o inicio do segundo semestre de 2019. O Professor Ricardo Roberto, meu parceiro de sala de aula, estará ministrando uma palestra com uma temática altamente relevante:

Convite especial para quem quer conhecer um pouco mais sobre o curso superior de Automação Industrial da Faculdade SENAI da Paraíba.

Entrada Gratuita! Basta comparecer na Av. das Indústrias, S/N – Distrito Industrial, João Pessoa – PB (clique no endereço para ir pelo Maps)

Cientistas usaram Python para fotografar buraco negro

Várias bibliotecas da linguagem Python fazem parte dos algoritmos para conseguir a primeira foto real de um buraco negro

Você deve ter ouvido falar na famosa “foto do Buraco Negro” que virou manchete nos noticiários mundo a fora. Pois bem, cientistas por trás desta façanha usaram um novo algoritmo para tirar uma foto de um buraco negro. Uma das partes mais interessantes sobre isso é que eles usaram muitas bibliotecas Python para fazer a mágica.

Abaixo segue uma lista de bibliotecas Python mencionada no artigo deles:

Eles também usaram seu próprio código Python personalizado que está disponível no Github do projeto. Caso você queira ter uma ideia geral de como foi feito isso, o vídeo a seguir tem uma explicação mais leiga das idéias por trás de tirar a foto. Foi gravado durante uma boa palestra TED com uma das pesquisadoras:

Fonte: Python Library blog

14 ferramentas que todo analista de processos deveria conhecer

14 ferramentas para analistas de processos que podem otimizar o dia a dia desse profissional.

A empresa SML lançou em seu blog dica de aplicativos super úteis para gestão e análise de processos. As ferramentas para analistas de processos vêm sendo desenvolvidas pelo ramo da tecnologia de informação e trazem, a cada dia, novas funções para serem exploradas. Elas permitem que os profissionais da área eliminem tarefas desnecessárias, reduzindo o tempo de gerenciamento das atividades e integrando sistemas.

Neste artigo, listamos 14 ferramentas para analistas de processos que podem otimizar o dia a dia desse profissional. Dividimos a lista de acordo com as funções: organização de tarefas, gestão de informações, comunicação, videoconferências e mapeamento de processos.

Organização de tarefas

1. Trello

Utilize se você busca organizar manualmente suas tarefas, pois o Trello é uma ferramenta que substitui notas autoadesivas(ou os famosos posts-its), planilhas, agenda, e e-mails. É uma forma de organizar visualmente, em um só lugar, todas as tarefas a serem realizadas.

Além disso, o Trello permite que as listas de afazeres sejam gerenciadas e o andamento seja acompanhado por toda a equipe de forma sincronizada, já que a atualização é instantânea.

Exemplo de tela do Trello
Exemplo de tela do Trello

A ferramenta funciona como uma lista de tarefas, kanban, com cartões que podem ser marcados com cores, status de andamento, responsável pela atividade e prazos. Também permite adicionar comentários e feedbacks e sincronizar com todos os dispositivos. Uma de suas vantagens é a boa visualização de toda a linha de produção das tarefas.

A atualização é instantânea e pode ser visualizada por todo o time. A plataforma é acessada pelo navegador da internet, sem que seja necessário trabalho com sua instalação. O melhor de tudo: há uma versão free bem completa!

2. Asana

Asana é uma plataforma online utilizada para a organização de tarefas e de gerenciamento de tarefas colaborativas. Dentro dessa plataforma, é possível administrar e criar trabalhos, dividir as tarefas de forma rápida e prática, definir responsáveis e prazo, além de convidar seus amigos e colegas de trabalho para participarem da equipe.

Para utilizar a plataforma, é necessário fazer um cadastro, cedendo seu e-mail e informações pessoais. A partir daí, basta criar um time e definir quem serão os convidados do grupo de trabalho.

Após essa etapa de criação, você pode começar a administrar as tarefas, por meio do painel inicial, bastante fácil de entender e de uso bastante intuitivo. A criação de tarefas também se dá nesse mesmo painel.

Gestão de informações

3. OneDrive

OneDrive é uma poderosa ferramenta de gestão de informação que você, analista de processo, pode utilizar. É de fácil acesso e, por ser vinculada à Microsoft, é compatível com vários outros programas da marca.

Dispõe de um serviço de armazenamento em nuvem, bastando uma conta Microsoft. Além de armazenar, é dado ao usuário a opção de definir quais arquivos serão públicos e quais serão privados e disponíveis apenas para pessoas autorizadas. Dessa forma, você consegue compartilhar arquivos com sua equipe facilmente e evita a duplicação de informações e versões de um mesmo documento.

4. Dropbox Paper

Dropbox Paper é um editor colaborativo de documentos. Ele utiliza a tecnologia de armazenamento em nuvem do Dropbox e, a partir daí, torna possível a sincronização em tempo real e a participação de vários colaboradores ao mesmo tempo.

É gratuito e está disponível para diversas plataformas, como Android e iOS. Ele apresenta uma interface intuitiva e bastante simples de ser entendida. Para utilizá-lo, é necessário ter uma conta no Dropbox.

A aparência simples do aplicativo não pode ser confundida com seu potencial, que é alto, por causa, sobretudo, de uma estrutura poderosa. O aplicativo é uma ótima alternativa para você e o seu time, com o diferencial de os conteúdos ficarem salvos na própria plataforma.

5. ECM

ECM é a sigla para Enterprise Content Management. Essa ferramenta permite que as empresas realizem uma melhor organização e administração de tudo aquilo que diz respeito à informação empresarial.

Ela auxilia as empresas com a automatização do desenvolvimento de estratégias, armazenamento de informações, captura de dados e distribuição de documentos. Conta com uma série de tecnologias para centralizar e tornar uniforme o tratamento de informações de diversas origens.

Pode ser utilizada pela empresa de várias formas, com a devida estruturação e padronização dos dados provenientes das diversas áreas da empresa, fazendo com que a sua equipe produza de forma eficiente e evitando erros.

Comunicação

Continue Lendo “14 ferramentas que todo analista de processos deveria conhecer”

#FarmsBeats: projeto de precisão de dados para agricultura

Cientista-chefe da Microsoft apresenta projeto de agricultura de precisão baseado em uso de #dados.

Autor: @microsoftBR

Em visita ao Brasil, @RanveerChandra, cientista-chefe de Azure Global, apresentou para alguns jornalistas e influenciadores o #FarmBeats, um projeto de agricultura de precisão baseado em uso de #dados.

O programa da Microsoft, que faz parte da iniciativa #AIforEarth, impulsiona a transformação digital dos produtores agrícolas com uso de #IA, sensores de baixo custo e drones.

“Um dos problemas que os produtores enfrentam para aplicar soluções digitais em seus negócios é a falta de conectividade no campo. Por isso desenvolvemos o #AirBand, uma tecnologia que usa TV white spaces para viabilizar conexões em áreas rurais”

Ranveer Chandra.

Chandra ainda acrescentou que a agricultura de precisão permite que “os agricultores usem seus recursos como água, terra e fertilizantes com mais sabedoria. Isso melhora a produtividade e reduz os custos, além de evitar desperdícios e de ser melhor para o meio ambiente”.

Fonte: Twitter da Microsoft Brasil