Term Frequency-Inverse Document Frequency (TF-IDF) \u00e9 uma t\u00e9cnica amplamente utilizada na recupera\u00e7\u00e3o de informa\u00e7\u00f5es e processamento de linguagem natural para avaliar a import\u00e2ncia de um termo dentro de uma cole\u00e7\u00e3o de documentos. Ajuda a medir o significado de uma palavra considerando sua frequ\u00eancia em um documento espec\u00edfico e comparando-a com sua ocorr\u00eancia em todo o corpus. O TF-IDF desempenha um papel crucial em diversas aplica\u00e7\u00f5es, incluindo mecanismos de busca, classifica\u00e7\u00e3o de textos, agrupamento de documentos e sistemas de recomenda\u00e7\u00e3o de conte\u00fado.<\/p>\n
O conceito de TF-IDF remonta ao in\u00edcio da d\u00e9cada de 1970. O termo \u201cfrequ\u00eancia de termo\u201d foi inicialmente introduzido por Gerard Salton no seu trabalho pioneiro sobre recupera\u00e7\u00e3o de informa\u00e7\u00e3o. Em 1972, Salton, A. Wong e CS Yang publicaram um artigo de pesquisa intitulado \u201cUm modelo de espa\u00e7o vetorial para indexa\u00e7\u00e3o autom\u00e1tica\u201d, que lan\u00e7ou as bases para o modelo de espa\u00e7o vetorial (VSM) e o termo frequ\u00eancia como um componente essencial.<\/p>\n
Mais tarde, em meados da d\u00e9cada de 1970, Karen Sp\u00e4rck Jones, uma cientista da computa\u00e7\u00e3o brit\u00e2nica, prop\u00f4s o conceito de \u201cfrequ\u00eancia inversa de documentos\u201d como parte de seu trabalho sobre processamento estat\u00edstico de linguagem natural. Em seu artigo de 1972 intitulado \u201cUma interpreta\u00e7\u00e3o estat\u00edstica da especificidade do termo e sua aplica\u00e7\u00e3o na recupera\u00e7\u00e3o\u201d, Jones discutiu a import\u00e2ncia de considerar a raridade de um termo em toda a cole\u00e7\u00e3o de documentos.<\/p>\n
A combina\u00e7\u00e3o da frequ\u00eancia dos termos e da frequ\u00eancia inversa dos documentos levou ao desenvolvimento do agora amplamente conhecido esquema de pondera\u00e7\u00e3o TF-IDF, popularizado por Salton e Buckley no final da d\u00e9cada de 1980 atrav\u00e9s de seu trabalho no SMART Information Retrieval System.<\/p>\n
O TF-IDF opera com base na ideia de que a import\u00e2ncia de um termo aumenta proporcionalmente com a sua frequ\u00eancia dentro de um documento espec\u00edfico, ao mesmo tempo que diminui com a sua ocorr\u00eancia em todos os documentos do corpus. Este conceito ajuda a resolver as limita\u00e7\u00f5es de usar apenas a frequ\u00eancia dos termos para classifica\u00e7\u00e3o de relev\u00e2ncia, uma vez que algumas palavras podem aparecer com frequ\u00eancia, mas fornecem pouco significado contextual.<\/p>\n
A pontua\u00e7\u00e3o TF-IDF para um termo em um documento \u00e9 calculada multiplicando a frequ\u00eancia do termo (TF) pela frequ\u00eancia inversa do documento (IDF). A frequ\u00eancia do termo \u00e9 a contagem da ocorr\u00eancia de um termo em um documento, enquanto a frequ\u00eancia inversa do documento \u00e9 calculada como o logaritmo do n\u00famero total de documentos dividido pelo n\u00famero de documentos que cont\u00eam o termo.<\/p>\n
A f\u00f3rmula para c\u00e1lculo da pontua\u00e7\u00e3o TF-IDF de um termo \u201ct\u201d em um documento \u201cd\u201d dentro de um corpus \u00e9 a seguinte:<\/p>\n
scs<\/span>