Arquivo da categoria: Data Science

Aprenda Data Science com o Minerando Dados

Coletânea de Vídeos do Canal Minerando Dados, material de excelente qualidade e didática fácil. Parabéns Felipe e Rodrigo Santana. Confiram!

Série de Vídeos de Mentoria para Data Science

Mentoria Evolution Aula 10

Mentoria Evolution Aula 09

Continuar lendo Aprenda Data Science com o Minerando Dados

TOP 10 Posts +1 sobre NLP de 2019…

Tempo de Leitura: 5 minutos

Natural-Language-Processing-03-1

Compartilhando com vocês os “TOP 10 artigos sobre NLP (Natural Language Processing) de 2019, isto é, os Posts que publiquei em 2019 e que teve maiores audiências. Espero que gostem dessa relação e que alguns destes possam ser úteis no seu dia a dia, caso ainda não tenha visto. Vamos lá…

#10 – LUPPAR NEWS-REC (RECOMENDADOR INTELIGENTE DE NOTÍCIAS)

Luppar News-Rec (Versão 1) é fruto da minha dissertação de Mestrado! É um Sistema Recomendador de Notícias (SRN) composto por algoritmos clássicos de classificação que trabalham em conjunto com representações de documentos para solucionar o problema de classificação de notícias de forma a trazer os documentos(notícias) que atendam a necessidade do usuário.

#9 – AVANÇANDO O PROCESSAMENTO DE LINGUAGEM NATURAL (NLP) PARA DOMÍNIOS CORPORATIVOS

O processamento de linguagem natural (do inglêsNatural Language Processing – NLP) é uma grande promessa para ajudar a encontrar informações tão profundas no conteúdo da empresa, permitindo que os usuários expressem mais livremente suas necessidades de informações e fornecendo respostas precisas para perguntas cada vez mais complexas. No entanto, os sistemas empresariais de NLP são frequentemente desafiados por vários fatores, que incluem compreender silos heterogêneos de informações, lidar com dados incompletos, treinar modelos precisos a partir de pequenas quantidades de dados e navegar em um ambiente em mudança no qual novos conteúdos, produtos, termos e outras informações são continuamente adicionadas.

Continuar lendo TOP 10 Posts +1 sobre NLP de 2019…

Datasets de Machine Learning padrão para classificação desequilibrada

Matéria original e todos direitos reservados ao autor: Standard Machine Learning Datasets for Imbalanced Classification escrito por Jason Brownlee

Segundo Jason Brownlee, um problema de classificação desequilibrada (Imbalanced Classification) é um problema que envolve a previsão de um rótulo de classe em que a distribuição de rótulos de classe no conjunto de dados de treinamento é distorcida.

Muitos problemas de classificação do mundo real têm uma distribuição de classes desequilibrada; portanto, é importante que os profissionais de aprendizado de máquina se familiarizem com o trabalho com esses tipos de problemas.

Todos os códigos fonte podem ser encontrados nesse link do GitHub…
Façam os devidos testes…

Visão geral

Este tutorial está dividido em três partes; eles são:

  1. Conjuntos de dados de classificação binária (Binary Classification Datasets)
  2. Conjuntos de dados de classificação multiclasse (Multiclass Classification Datasets)
  3. Competição e outros conjuntos de dados (Competition and Other Datasets)

Continuar lendo Datasets de Machine Learning padrão para classificação desequilibrada

O cenário de dados e IA de 2019

Segundo Matt Turck, em seu artigo original – aqui traduzido, disse que 2019:

Foi outro ano intenso no mundo dos dados, cheio de emoção, mas também de complexidade.

À medida que mais mundo fica on-line, a “informação de dados” de tudo continua a acelerar. Essa mega-tendência continua ganhando força, alimentada pela interseção de avanços separados em infraestrutura, computação em nuvem, inteligência artificial, código aberto e a digitalização geral de nossas economias e vidas.

Alguns anos atrás, a discussão sobre “Big Data” era principalmente técnica, centrada no surgimento de uma nova geração de ferramentas para coletar, processar e analisar grandes quantidades de dados. Muitas dessas tecnologias agora são bem compreendidas e implantadas em escala. Além disso, nos últimos dois anos, em particular, começamos a adicionar camadas de inteligência por meio de ciência de dados, aprendizado de máquina e IA em muitos aplicativos, que agora estão cada vez mais em produção em todos os tipos de produtos de consumo e B2B.

À medida que essas tecnologias continuam melhorando e se expandindo além do grupo inicial de adotantes (FAANG e startups) para a economia e o mundo em geral, a discussão está mudando do puramente técnico para uma conversa necessária sobre o impacto em nossas economias, sociedades e vidas.

Estamos apenas começando a realmente entender a natureza da interrupção à frente . Em um mundo em que a automação orientada a dados se torna a regra (produtos automatizados, carros automatizados, empresas automatizadas), qual é a nova natureza do trabalho? Como lidamos com o impacto social? Como pensamos em privacidade, segurança, liberdade?

Enquanto isso, as tecnologias subjacentes continuam a evoluir em ritmo acelerado, com um ecossistema sempre vibrante de startups, produtos e projetos, anunciando talvez mudanças ainda mais profundas pela frente. Nesse ecossistema, o ano foi caracterizado pelas primeiras entradas de uma consolidação esperada, e talvez pela passagem da guarda de uma época para outra, à medida que as primeiras tecnologias começaram a dar lugar à próxima geração.

Para tentar entender tudo isso, esta é a nossa sexta paisagem e o “estado da união” dos dados e do ecossistema de IA. Para quem estiver interessado em acompanhar a evolução, aqui estão as versões anteriores: 2012 , 2014 , 2016 , 2017 e 2018 .

Continuar lendo O cenário de dados e IA de 2019

Artificial Intelligence Index – Report 2019

O AI Index Report rastreia, coleta, destila e visualiza dados relacionados à inteligência artificial. Sua missão é fornecer dados imparciais e rigorosamente examinados para que formuladores de políticas, pesquisadores, executivos, jornalistas e o público em geral desenvolvam intuições sobre o campo complexo da IA. Expandindo anualmente, o Relatório procura incluir dados sobre o desenvolvimento da IA de comunidades em todo o mundo.

Visualize clicando na imagem abaixo, ou no link.

IAIndex2019

 

120 previsões da IA ​​para 2020

Uma tradução – do Google – do artigo: 120 AI Predictions For 2020 escrito por: Gil Press (todos os direitos reservados ao autor)

Vejam também: 99 (Extra!) AI Predictions For 2020


Gil Press: “Alexa, me diga o que acontecerá em 2020.”

Amazon AI: “Eis o que encontrei na Wikipedia: O Campeonato da Europa de Futebol da UEFA 2020 … [continua a ler na Wikipedia]”

Gil Press: “Alexa, me dê uma previsão para 2020.”

Amazon AI: “O universo não me revelou a resposta.”

Bem, houve uma ligeira melhora em relação às respostas do ano passado , quando a resposta da Alexa à primeira pergunta foi: “Você deseja abrir ‘este dia na história’?”. Quanto ao universo, é um livro aberto para os 120 executivos seniores apresentados aqui, todos envolvidos com a IA, fornecendo previsões para 2020 para uma ampla gama de tópicos: veículos autônomos, deepfakes, pequenos dados, processamento de voz e linguagem natural, inteligência humana e aumentada, tendência e explicabilidade, processamento de borda e IoT e muitas aplicações promissoras de inteligência artificial e tecnologias e ferramentas de aprendizado de máquina.

Continuar lendo 120 previsões da IA ​​para 2020

O que é uma Rede Neural Artificial? (código Python)

Esse artigo esta dividido em duas etapas:

  1. Uma breve descrição sobre Redes Neurais e alguns de seus tipos (Fonte e Direitos);
  2. Detalhando a Rede Neural com Backpropagation com exemplo em Python – com base no artigo em: How to Code a Neural Network with Backpropagation In Python (from scratch) by Jason Brownlee in Code Algorithms From Scratch

Rede Neural Artificial (RNA) pode ser definida como uma estrutura complexa interligada por elementos de processamento simples (neurônios), que possuem a capacidade de realizar operações como cálculos em paralelo, para processamento de dados e representação de conhecimento. Seu primeiro conceito foi introduzido em 1943, mas ganhou popularidade algumas décadas depois com a introdução de algoritmos de treinamento como o backpropagation, que permite a realização de um treinamento posterior para aperfeiçoar os resultados do modelo.

Um Breve Histórico – Um histórico resumido sobre Redes Neurais Artificiais deve começar por três das mais importantes publicações iniciais, desenvolvidas por: McCulloch e Pitts (1943), Hebb (1949), e Rosemblatt (1958). Estas publicações introduziram o primeiro modelo de redes neurais simulando “máquinas”, o modelo básico de rede de auto-organização, e o modelo Perceptron de aprendizado supervisionado, respectivamente.

Alguns históricos sobre a área costumam “pular” os anos 60 e 70 e apontar um reinicio da área com a publicação dos trabalhos de Hopfield (1982) relatando a utilização de redes simétricas para otimização e de Rumelhart, Hinton e Williams que introduziram o poderoso método Backpropagation.

Entretanto, para se ter um histórico completo, devem ser citados alguns pesquisadores que realizaram, nos anos 60 e 70, importantes trabalhos sobre modelos de redes neurais em visão, memória, controle e auto-organização como: Amari, Anderson, Cooper, Cowan, Fukushima, Grossberg, Kohonen, von der Malsburg, Werbos e Widrow.

Fonte

Mais informações históricas…

Continuar lendo O que é uma Rede Neural Artificial? (código Python)

Luppar News-Rec (Recomendador Inteligente de Notícias)

O Luppar News-Rec (Versão 1) é fruto da minha dissertação de Mestrado,  mais detalhes sobre – visualize aqui! É um Sistema Recomendador de Notícias (SRN) composto por algoritmos clássicos de classificação que trabalham em conjunto com representações de documentos para solucionar o problema de classificação de notícias de forma a trazer os documentos(notícias) que atendam a necessidade do usuário. A metodologia que segue esse trabalho divide os esforços da implementação do SRN em três etapas: Subsistema de Captura, Pré-Processamento e Armazenamento, Subsistema de Classificação de Notícias e Subsistema de Aquisição de Perfil de Assinantes e Distribuição.

Recursos do Luppar News-Rec

News Recommender System using Word Embeddings for study and research.

Disponível em: http://luppar.com/recommender

Coleções de documentos

  • Z5News (Coleção em Inglês com 5 tópicos)
    • sportsNews, politicsNews, technologyNews, PersonalFinance e brazil-news
  • Z5NewsBrasil (Coleção em Portugues com 5 tópicos)
    • esporteNews, politicaNews, tecnologiaNews, financaPessoal e educacaonews
  • Z12News (Coleção em Inglês com 12 tópicos)
    • sportsnews, politicsNews, technologyNews, PersonalFinance, brazil-news, aerospace-defense, autos, commoditiesNews, fundsNews, foreignexchangeNews, healthnews e environmentnews

Continuar lendo Luppar News-Rec (Recomendador Inteligente de Notícias)

Avançando o processamento de linguagem natural (NLP) para domínios corporativos

Por Salim Roukos, IBM Fellow (todos os direitos reservados ao autor – matéria (EN))

Segundo Salim Roukos, encontrar informações no vasto acervo de documentos e bases de conhecimento de uma empresa para responder às perguntas dos usuários nunca é tão fácil quanto deveria ser. As respostas podem muito bem existir, mas geralmente permanecem fora de alcance por vários motivos.

Para iniciantes, ao contrário da Web, onde as informações são conectadas através de um rico conjunto de links e geralmente são capturadas de forma redundante em várias formas (facilitando a localização), o conteúdo corporativo geralmente é armazenado em silos com muito menos repetição das informações principais. Além disso, os usuários que pesquisam conteúdo corporativo geralmente fazem perguntas complexas e esperam respostas mais detalhadas do que receberiam de um mecanismo de pesquisa na Web. Isso pode incluir perguntas sobre suporte ao produto, faturas, o regulamento mais recente aplicável a contratos com clientes, as implicações de eventos descobertos em sites de notícias e assim por diante. Por fim, as empresas costumam relutar em confiar na IA da ‘caixa preta’ que não pode explicar suas recomendações e pode exigir técnicas explicáveis ​​aos tomadores de decisão ou usuários finais.

O processamento de linguagem natural (do inglês: Natural Language ProcessingNLP) é uma grande promessa para ajudar a encontrar informações tão profundas no conteúdo da empresa, permitindo que os usuários expressem mais livremente suas necessidades de informações e fornecendo respostas precisas para perguntas cada vez mais complexas. No entanto, os sistemas empresariais de NLP são frequentemente desafiados por vários fatores, que incluem compreender silos heterogêneos de informações, lidar com dados incompletos, treinar modelos precisos a partir de pequenas quantidades de dados e navegar em um ambiente em mudança no qual novos conteúdos, produtos, termos e outras informações são continuamente adicionadas.

Continuar lendo Avançando o processamento de linguagem natural (NLP) para domínios corporativos

Definindo a ciência de dados: o quê, onde e como a ciência de dados

Ciência de dados – um termo universalmente reconhecível que precisa desesperadamente de divulgação.

Ciência de dados é um termo que foge a qualquer definição completa única, o que dificulta o uso, principalmente se o objetivo é usá-lo corretamente. A maioria dos artigos e publicações usa o termo livremente, com a suposição de que ele é universalmente entendido. No entanto, a ciência de dados – seus métodos, objetivos e aplicativos – evolui com o tempo e a tecnologia. A ciência de dados há 25 anos se referia à coleta e limpeza de conjuntos de dados e à aplicação de métodos estatísticos a esses dados. Em 2018, a ciência de dados cresceu para um campo que abrange análise de dados, análise preditiva, mineração de dados, inteligência de negócios, aprendizado de máquina e muito mais.

Continuar lendo Definindo a ciência de dados: o quê, onde e como a ciência de dados