Profissionais de Dados – Umas das áreas que mais crescem dentro da TI…

Números parciais do Projeto…
– Pessoas que assistiram a palestra: 390
– Instituições visitadas: FATE, FATENE, FGF, FIC e FANOR
___________________________________________________

É um projeto pioneiro aqui no Estado do Ceará, que tem como objetivo disseminar o conhecimento relacionado a área de dados, em todos os cantos do Brasil para todos os estudantes e profissionais que desejam ingressar nessa área ou queiram ter conhecimento sobre o assunto.

No site da Berkeley, em uma página que apresenta o conceito e aplicação de Data Science, apresenta um estudo da IBM onde 90% dos dados existentes hoje foram gerados nos últimos dois anos. A origem são computadores, tablets, smart phones, sensores, instrumentos, dispositivos variados e equipamentos inteligentes.

O crescimento exponencial de dados gera o desafio de processar e analisar volumes descomunais no intuito de transformá-los em informação e conhecimento. Fonte

E devido a esse fator, hoje é uma das áreas que mais carece de profissionais qualificados no mercado de trabalho!!!

Quer conhecer a área?
Ter uma visão de como funciona?

Podemos apresentar em sua instituição de ensino ou empresa!

Contate-nos pelo site ou pelo nosso e-mail – aasouzaconsult@gmail.com!

palestra-divulgacao

7 técnicas para redução da dimensionalidade

Data Mining / Machine Learning / Data Analysis

Na atual era do Big Data em que o custo de armazenamento praticamente foi levado ao nível de commodity, muitas corporações que se gabam que são ‘adeptas’ do Big Data acabam pagando/armazenando ruído ao invés de sinal.

Pelo motivo exposto acima, diante do prisma de Engenharia de Dados o problema de absorção/retenção dessas informações está resolvido.

No entanto, quando é necessário escalar negócios através de inteligência usando os dados (lembrando o que foi dito no passado: Dado > Informação > Conhecimento > Sabedoria) o que era uma característica inerente ao avanço tecnológico de engenharia de dados, torna-se um problema gigante dentro da ciência de dados.

Com esse aumento horizontal das bases de dados (dimensões / atributos) um problema grave é o aumento da dimensionalidade (Course of Dimensionality) em que temos não somente multicolinearidade, heteroscedasticidade e autocorreação para ficar em exemplos estatísticos simples.  Em termos computacionais nem é preciso dizer que o aumento de atributos faz com que os…

Ver o post original 865 mais palavras

Categorias:Categorias

On-demand virou domínio público…

Blog - Fabiano Neves Amorim

Perae djow, você disse de graça?

screenshot_67

Fala galera…
É, você não tem mais desculpa para deixar de estudar né? :-)Boa notícia pra vocês (assim espero), os treinamentos que gravei para a Sr.Nimbus, os on-demand, estão disponíveis para acesso gratuito no youtoba. Sim, você leu isso mesmo… de graça, for free, na faixa…

Acesse as playlists utilizandos os links abaixo:

Planos de Execução – Parte I – QO, lookup, sort e merge join

Planos de Execução – Parte II – Estatísticas I, seeks e scan

Planos de Execução – Parte III – Estatísticas II e spools

O download do material utilizado nos treinamentos estão disponíveis aqui:

https://1drv.ms/f/s!AqbKdH5H9-9SpULcpghVhJIvCcZB

Eu só peço uma coisa, por favor, de o crédito a quem merece crédito… plágio é feio e saiba que ao fazer isso você terá meu maior desprezo.

Abs. e bons estudos!

Ver o post original

Categorias:Categorias

McKinsey: Competindo em um Mundo Guiado por Dados

Fonte: O futuro das coisas

Conforme O futuro das coisas, o novo report da McKinsey Global Institute explora a fundo como a tecnologia digital está impactando a produtividade, o crescimento e a competitividade no nosso mundo. Também mostra quais as oportunidades que estão em jogo para as empresas.

The Age of Analytics: Competing In A Data-Driven World é um report (136 páginas PDF) baseado em mais de cinco anos de pesquisa em dados e analytics.

Nestes 5 anos, eles observaram como a adoção da ciência de dados acelerou especificamente as áreas de aprendizagem de máquina (machine learning) e de aprendizagem profunda (deep learning).

Dentre as análises, a McKinsey identificou 120 usos potenciais do aprendizado de máquina em 12 indústrias, além de ter realizado uma pesquisa com mais de 600 especialistas dessas indústrias para entender o que acham sobre o potencial impacto dessa tecnologia.

A descoberta mais surpreendente foi a extraordinária amplitude das potenciais aplicações da aprendizagem de máquina; Cada uma dessas aplicações foi identificada como sendo uma das três primeiras em uma determinada indústria por pelo menos um especialista dessa indústria.

Os pesquisadores da McKinsey então plotaram as 120 aplicações mais importantes no mapa abaixo. O eixo Y mostra o volume de dados disponíveis (abrangendo amplitude e freqüência), enquanto o eixo X mostra o potencial impacto dessa tecnologia, com base nas pesquisas feitas com os mais de 600 especialistas dessas indústrias.

Os usos específicos que combinam riqueza de dados com maiores oportunidades são as bolhas maiores no quadrante superior direito do gráfico. Estas representam áreas onde as empresas deveriam priorizar o uso da aprendizagem de máquina e se preparar para uma transformação que começa a acontecer.

Alguns dos usos de maior oportunidade são: publicidade personalizada; veículos autônomos; otimização de preços, rotas e programação com base em dados em tempo real em viagens e logística; previsão de resultados de saúde personalizada; e otimização de estratégias de merchandising no varejo.

Leia mais…

Categorias:BI, Big Data, Data Science

A HISTÓRIA DO BUSINESS INTELLIGENCE

Olá Pessoal!! Após um tenebroso inverno na atividade deste blog, voltamos a atividade. Continuaremos com a sequencia de posts relacionados a Business Intelligence. Porém para dar uma quebrada no gelo vamos ver um vídeo que conta a história do Bi de uma forma divertida. Vocês gostariam de saber um pouco da história do Business […]

via A HISTÓRIA DO BUSINESS INTELLIGENCE — BLOG – TIO CAMILLO

Categorias:BI

Dez principais tendências de Big Data para 2017

Fonte: Tableau Software

O ano de 2016 foi um marco para o Big Data, com mais organizações armazenando, photoprocessando e extraindo valor de dados de todos os formatos e tamanhos. Em 2017, os sistemas que oferecem suporte a grandes volumes de dados estruturados e não estruturados continuarão crescendo. Haverá uma demanda de mercado por plataformas que ajudem os administradores de dados a governar e proteger o Big Data e que permitam aos usuários analisar esses dados. Esses sistemas amadurecerão para operar de forma integrada com os padrões e sistemas de TI empresarial.

O que aconteceu depois? Este relatório destaca as principais tendências de Big Data para 2017, como:

  1. Big Data mais ágil e acessível: mais opções para agilizar o Hadoop
  2. O Big Data não está mais limitado ao Hadoop: ferramentas específicas para o Hadoop estão ficando obsoletas
  3. Organizações aproveitam lagos de dados desde o início para obter valor
  4. Arquiteturas desenvolvidas para rejeitar um tamanho padrão para todas as estruturas
  5. A variedade, e não o volume ou a velocidade, é o que orienta os investimentos em Big Data
  6. O Spark e o aprendizado de máquina dão gás ao Big Data
  7. A convergência da Internet das coisas (IoT), da nuvem e do Big Data gera novas oportunidades para a análise de autoatendimento
  8. A preparação de dados de autoatendimento está se tornando essencial, à medida que os usuários começam a modelar o Big Data
  9. O Big Data cresceu: Hadoop reforça os padrões empresariais
  10. O surgimento de catálogos de metadados ajuda as pessoas a encontrar Big Data que vale a pena ser analisado

Ler artigo completo em: Tableau

Disco de cinco dimensões guarda dados por 14 bilhões de anos

Relembrando…

Cientistas da Universidade de Southampton, no Reino Unido, criaram uma técnica que permite que dados sejam armazenados em um disco de vidro por 13,8 bi de anos


 

Cientistas da Universidade de Southampton, no Reino Unido, criaram uma nova técnica para armazenamento de dados em discos de vidro. O ponto alto é a alta capacidade de armazenar dados, além da longa vida útil dos pequenos discos.

Usando uma técnica de cinco dimensões (5D), os discos devem resistir por até 13,8 bilhões de anos—isso mesmo, são quase 14 bilhões de anos. Para isso, eles devem ser preservados a até 190°C. A nova tecnologia é capaz de resistir a temperaturas de até 1.000°C, mas nesse caso sua durabilidade é reduzida.

Cada um dos discos pode armazenar até 360 TB de dados—lembrando que um TB é o equivalente a mil GB. Por isso, a sugestão dos cientistas é que a nova tecnologia seja usada para armazenar documentos de organizações que tenham um volume muito alto de dados guardados. Entre as sugestões que estão no comunicado oficial da universidade estão bibliotecas, museus e arquivos nacionais.

size_960_16_9_5d

Discos de vidro: guardados a até 190ºC eles podem durar quase 14 bilhões de anos (Universidade de Southampton)

Como testes, os cientistas salvaram documentos importantes da humanidade em alguns discos. Entre eles estão a Declaração Universal dos Direitos Humanos (que foi dada de presente à ONU), a Magna Carta e a Bíblia.

Cinco dimensões

Os dados são gravados nos discos usando laser ultraveloz, que produz impulsos de luz extremamente curtos e intensos. O arquivo é gravado por pontos minúsculos distribuídos em três camadas e separados por uma distância de cinco micrometros—que é um milionésimo de metro.

Os dados são gravados no vidro usando o que os pesquisadores chamaram de cinco dimensões. Elas são as três comuns de espaço, além do tamanho e da orientação dados às nanoestruturas.

As nanoestruturas alteram o caminho que a luz percorre no vidro, modificando a polarização que poderá ser lida pela combinação de um microscópio óptico e um polarizador, similar às lentes usadas em óculos Polaroid, explica o site da universidade.

Essa tecnologia pode assegurar a última evidência da nossa civilização: tudo que aprendemos não será esquecido, disse o professor Peter Kazanksky, que participou do desenvolvimento.

A equipe ainda está aprimorando a técnica e procurando por parceiros para que a tecnologia possa ser comercializada.

Veja abaixo um vídeo mostrando como os dados são gravados no vidro.

Text Analytics com R, exemplo prático: analisando dados de futebol do Twitter

Blog Dataficação

Durante o programa Bate Bola, da ESPN, do dia 12/12/2016, foi solicitado aos telespectadores que enviassem suas seleções ideais dos melhores jogadores do Campeonato Brasileiro 2016 utilizando a hashtag #bateboladebate. A ideia deste post é mostrar como obter dados dos tweets enviados no programa neste dia e realizar a contagem dos nomes dos jogadores que foram mais citados. Assim, conseguiremos demonstrar uma aplicação real da utilização de Text Mining, extraindo dados do Twitter e montando uma seleção com os jogadores mais mencionados pelos torcedores. Vamos utilizar a ferramenta R, que permite trabalharmos com dados de redes sociais e realizarmos a limpeza dos dados. Pra quem não conhece, o R é uma ferramenta de análise de dados e que possui uma linguagem própria para manipulação dos dados.

Extraindo os tweets

Para realizar a captura dos dados do Twitter, são necessárias 3 etapas:

1- Criar uma aplicação do Twitter utilizando o

Ver o post original 779 mais palavras

Categorias:Categorias
%d blogueiros gostam disto: