Dados, Data Science, Deep Learning, Machine Learning, NLP, Python, Recuperação da Informação

Luppar News-Rec (Recomendador Inteligente de Notícias)

O Luppar News-Rec (Versão 1) é fruto da minha dissertação de Mestrado,  mais detalhes sobre – visualize aqui! É um Sistema Recomendador de Notícias (SRN) composto por algoritmos clássicos de classificação que trabalham em conjunto com representações de documentos para solucionar o problema de classificação de notícias de forma a trazer os documentos(notícias) que atendam a necessidade do usuário. A metodologia que segue esse trabalho divide os esforços da implementação do SRN em três etapas: Subsistema de Captura, Pré-Processamento e Armazenamento, Subsistema de Classificação de Notícias e Subsistema de Aquisição de Perfil de Assinantes e Distribuição.

Recursos do Luppar News-Rec

News Recommender System using Word Embeddings for study and research.

Disponível em: http://luppar.com/recommender

Coleções de documentos

  • Z5News (Coleção em Inglês com 5 tópicos)
    • sportsNews, politicsNews, technologyNews, PersonalFinance e brazil-news
  • Z5NewsBrasil (Coleção em Portugues com 5 tópicos)
    • esporteNews, politicaNews, tecnologiaNews, financaPessoal e educacaonews
  • Z12News (Coleção em Inglês com 12 tópicos)
    • sportsnews, politicsNews, technologyNews, PersonalFinance, brazil-news, aerospace-defense, autos, commoditiesNews, fundsNews, foreignexchangeNews, healthnews e environmentnews

Representações de Documentos

  • FastText + E2V-IDF (Representação Embedding: FastText combinada com a abordagem E2V-IDF (ponderada por IDF))
  • Word2Vec + E2V-IDF (Representação Embedding: Word2Vec combinada com a abordagem E2V-IDF (ponderada por IDF))
  • BoW (Representação Bag-of-Words – saco de palavras)

Classificadores de Texto

  • SVM (RBF) (Classificador SVM – Support Vector Machine com Kernel: RBF – Radial Basis Function)
  • Random Forest (RF) (Classificador Random Forest – Floresta Aleatória)

Receba notícias por E-mail (Crie seu perfil de Assinante)

Informe seu e-mail caso deseje receber notícias diariamente (1x) via e-mail.

  • Para salvar seu perfil de assinante:
    • informe seu e-mail, escolha os tópicos de sua preferência e clique no botão: Recomendar.

Métricas

Informe Sim caso deseje que as métricas da combinação escolhida sejam expostas na tela.

Botões

  • Recomendar (Recomenda notícias, já armazenadas no Luppar News-Rec, conforme as seleções realizadas)
  • Baixar e Recomendar (Baixa as últimas notícias, faz o pré-processamento, Classifica as novas notícias com base no modelo treinado para a combinação escolhida e recomenda as notícias com base nos tópicos selecionados)
    • Subsistema 1 – Baixar (web crawler), Pré-Processar (Remoção de Pontuação, Numeração, StopWords, aplicado Stemming) e armazenamento das notícias;
    • Subsistema 2 – Classificar de forma automática em tópicos, fazendo uso de Machine learning, as notícias armazenadas na etapa anterior (Subsistema 1), utilizando combinações entre representação de documentos e classificadores de texto;
    • Subsistema 3 – Recomenda as notícias classificadas em tópicos na etapa anterior (Subsistema 2) com base nas preferências dos usuários (utilizando abordagem baseado em conteúdo (subscrição em itens)).

Melhores combinações (DICA)

  • Para a coleção Z5News
    • Representação: FastText + E2V-IDF + Classificador: SVM (RBF);
  • Para a coleção Z5NewsBrasil
    • Representação: BoW + Classificador: Random Forest (RF);
  • Para a coleção Z12News
    • Representação: Word2Vec + E2V-IDF + Classificador: SVM (RBF).

Luppar

Em breve a versão 2 com mais recursos! Aguardem!

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s