Dados, Data Science, Deep Learning, Recuperação da Informação

Rotulando com o Active Learning

A verdade feia por trás de todos esses dados

Estamos na era dos dados. Nos últimos anos, muitas empresas já começaram a coletar grandes quantidades de dados sobre seus negócios. Por outro lado, muitas empresas estão apenas começando. Se você trabalha em uma dessas empresas, pode estar se perguntando o que pode ser feito com todos esses dados.

Que tal usar os dados para treinar um algoritmo de aprendizado de máquina supervisionado (ML – Machine Learning)? O algoritmo ML poderia executar a mesma tarefa de classificação que um ser humano faria, muito mais rápido! Poderia reduzir custos e ineficiências. Pode funcionar com os dados combinados, como imagens, documentos de texto e apenas números simples. Poderia fazer todas essas coisas e até obter essa vantagem sobre a concorrência.

No entanto, antes que você possa treinar qualquer modelo supervisionado decente, você precisa de dados básicos da verdade. Geralmente, os modelos supervisionados de ML são treinados em registros de dados antigos que já estão rotulados de alguma forma. Os modelos treinados são aplicados para executar previsões de rótulos em novos dados. E esta é a verdade feia: antes de prosseguir com qualquer treinamento de modelo, qualquer definição de problema de classificação ou qualquer entusiasmo adicional na coleta de dados, você precisa de um conjunto suficientemente grande de registros de dados rotulados corretamente para descrever seu problema. E a rotulagem de dados – especialmente em uma quantidade suficientemente grande – é … cara.

Continuar lendo

Banco de Dados, Big Data, Importantes, Projeto

GDPR: a nova lei cibernética que pode afetar todo o mundo

A GDPR é uma nova lei europeia que entrará em vigor nos próximos dias. Ao reforçar as proteções de dados dos cidadãos da Europa, todas as empresas de pequeno, médio e grande porte terão que investir em cibersegurança. E não são apenas empresas locais: companhias de todo o mundo que têm negócios com a Europa precisarão se adequar. Ou seja, a mudança é global.

*** Entrará em vigor no dia 25 de Maio de 2018 ***

“A lei é clara: vazamentos de dados devem ser informados à DPA (comissão de proteção de dados) em até 72 horas e aos clientes afetados ‘sem demora injustificada'”

“Basicamente, as companhias terão que correr para aprender a proteger de maneira correta os dados de clientes”

Os 3 Pilares:
1. Governança de dados
2. Gestão de dados, que diz respeito à forma como tratar das atividades de processamento
3. Transparência de dados

E no Brasil?

Vejam a matéria completa clicando na imagem abaixo, ou no seguinte link.

gdpr

Big Data, Data Science, IA (Inteligência Artificial), NoSQL

Por que as iniciativas de análise de dados ainda falham?

Talvez o problema esteja nas práticas de governança de dados. É preciso dar mais ênfase na qualidade e no contexto dos dados

Na matéria é listado 7 práticas problemáticas de uso de dados, são elas:
1 – Reunir dados, mas não integrá-los realmente
2 – Não perceber que as unidades de negócios têm necessidades exclusivas
3 – Recrutar apenas cientistas de dados
4 – Deixar de gerenciar o ciclo de vida dos dados
5 – Concentrar-se no volume, em vez de segmentar a relevância
6 – Fornecer dados, mas ignorar sua origem
7 – Fornecer dados, mas não ajudar os usuários a entender o contexto

Clique aqui para ver a matéria completa!

 

Banco de Dados, Disponibilidade, Segurança da Informação

GDPR – General Data Protection Regulation (EU)

Esse assunto é muito interessante e deveria ser implementada também como lei nos demais países! E no meu ponto de vista, iria melhorar muito a segurança dos dados de usuários, evitando situações como a que aconteceu com a Uber essa semana por exemplo.

Pesquisa realizada pelo SAS com 340 executivos de diversas indústrias e mercados revelou que apenas 45% das organizações globais ouvidas possuem um plano estruturado para entrar em conformidade com as normas do Regulamento Geral de Proteção de Dados (GDPR – General Data Protection Regulation), que entra em vigor inicialmente nos países da União Europeia em maio de 2018.

Mais da metade das empresas (58%) não estão totalmente conscientes das consequências de não cumprirem as normas. Proposta em 2012 e aprovada quatro anos depois, a GDPR exigirá que as organizações se tornem responsáveis ​​pela proteção dos dados de seus clientes, informando como e onde eles são armazenados e processados.

“Muitas empresas simplesmente não sabem por onde começar para se tornarem compatíveis com o GDPR”, diz o gerente de Soluções de Negócios do SAS, Arturo Salazar. “Nossa recomendação é iniciar com uma estratégia sólida de governança de dados para garantir que as tecnologias e as políticas estejam em vigor e permitam entender completamente onde seus dados estão armazenados e quem tem acesso a eles”. (fonte da informação)

Confira mais detalhes da pesquisa

Vejam também:

Página do GDPR

REGULATION (EU) 2016/679 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL

National data protection authority