{"id":5656,"date":"2020-02-25T22:30:05","date_gmt":"2020-02-26T01:30:05","guid":{"rendered":"http:\/\/meiradarocha.jor.br\/news\/?p=5656"},"modified":"2024-08-25T20:14:46","modified_gmt":"2024-08-25T19:14:46","slug":"raspagem-de-dados","status":"publish","type":"post","link":"https:\/\/meiradarocha.jor.br\/news\/2020\/02\/25\/raspagem-de-dados\/","title":{"rendered":"Raspagem de dados"},"content":{"rendered":"
\n
\"\"<\/figure>\n<\/div>\n\n\n

A principal ferramenta do jornalista de dados \u00e9 a planilha, tipo LibreOffice Calc, M.S. Excel ou Google Planilhas. Al\u00e9m de calculadoras program\u00e1veis, as planilhas tamb\u00e9m s\u00e3o usadas como bancos de dados. Pode-se ordenar colunas, filtrar s\u00f3 alguns valores e muito mais. Arquivos de planilhas digitais (Excel, LibreOffice Calc) s\u00e3o melhor formatadas e n\u00e3o t\u00eam problemas de acentua\u00e7\u00e3o como t\u00eam os arquivos-texto CSV (Comma Separated Values = Valores Separados por V\u00edrgula), tamb\u00e9m muito usados para guardar bancos de dados . Ao baixar dados de um site, d\u00ea prefer\u00eancia ao formato ODS (LibreOffice Calc) ou XLSX (Excel), se o site de dados apresentar escolhas.<\/p>\n\n\n\n

Em um banco de dados relacional — o tipo mais usado — os dados s\u00e3o apresentados em forma de tabelas com linhas e colunas, tamb\u00e9m chamados genericamente de “dados tabulares”. As linhas s\u00e3o chamadas de “registro<\/strong>” ou “entrada”, reunindo dados sobre uma entidade particular, como um cliente. As colunas s\u00e3o chamadas de “campos<\/strong>“, que s\u00e3o os dados referentes \u00e0quele cliente. Um registro pode ter v\u00e1rios campos. Por exemplo, “UserID”, “Username”, “Email”, “Endere\u00e7o”, “Telefone fixo”, “Celular” etc. Todos os dados de uma linha formam o registro<\/strong> de uma entidade. Uma pessoa, neste exemplo. Pode ser entendido como uma “ficha” da pessoa ou dos dados. Na coluna “UserID” ficam os identificadores \u00fanicos de todas as pessoas no exemplo. Na coluna “Email”, o email de todos. E assim por diante.<\/p>\n\n\n\n

Abaixo, est\u00e1 um exemplo de planilha usada como banco de dados.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

CSV (comma separated values<\/em>)<\/h3>\n\n\n\n

Mas se n\u00e3o houver planilhas no site de dados, que formato de dados baixar? O formato mais b\u00e1sico \u00e9 o CSV (comma separated values <\/em>— valores separados por v\u00edrgula). \u00c9 um texto sem formata\u00e7\u00e3o, texto simples que se edita no Bloco de Notas, at\u00e9.<\/p>\n\n\n\n

Na hora de importar para uma planilha, para tratar os dados, o operador tem que cuidar o c\u00f3digo dos acentos. Em computadores, cada l\u00edngua tem uma tabela de c\u00f3digo de caracteres acentuados ou caracteres especiais, n\u00e3o latinos. Os c\u00f3digos mais usados s\u00e3o ISO-8859 (usado no in\u00edcio da internet) e UTF-8 (usado atualmente). Se, na importa\u00e7\u00e3o, os acentos n\u00e3o aparecem ou s\u00e3o estranhos, tente um destes outros c\u00f3digos.  As planilhas t\u00eam um modo de preview<\/em>, antes de  importar, que permite a gente escolher os separadores dos valores (v\u00edrgula ou tabula\u00e7\u00e3o, por ex.) e o c\u00f3digo dos acentos.<\/p>\n\n\n\n

\"\"
Tela de importa\u00e7\u00e3o de arquivo CSV pelo LibreOffice Calc. Tr\u00eas pontos devem ser observados: o c\u00f3digo de caracteres acentuados, o caractere separador de campos e o tipo de campo num\u00e9rico.<\/figcaption><\/figure>\n\n\n\n

PDF<\/h3>\n\n\n\n

Um formato tamb\u00e9m muito usado tamb\u00e9m para publicar dados, infelizmente, \u00e9 o PDF, que \u00e9 um bom formato de documento mas \u00e9 p\u00e9ssimo para se extrair os dados. O pesquisador deve selecionar tabelas, copiar, e colar em um programa editor de texto simples, como o Notepad++ e tentar, \u00e0 m\u00e3o, reconstruir o texto no formato CSV ou TSV (Valores Separados por tabula\u00e7\u00e3o).<\/p>\n\n\n\n

Como o PDF n\u00e3o tem estruturas de texto — par\u00e1grafos ou blocos de texto, p. ex. — ao copiar-se texto de um PDF pode-se copiar texto indesej\u00e1veis, como como n\u00famero de p\u00e1gina, cabe\u00e7alhos, rodap\u00e9s. Assim, em geral \u00e9 preciso fazer uma limpeza, antes, no Notepad++ ou no Bloco de Notas. “Limpeza” \u00e9 apagar os dados que n\u00e3o fazem parte da estrutura do banco de dados ou da tabelas. <\/p>\n\n\n\n

HTML<\/h3>\n\n\n\n

Tabelas da Web s\u00e3o em formato HTML. Em geral, quando se copiam estas tabelas, o texto simples j\u00e1 \u00e9 copiado com tabula\u00e7\u00f5es. Quando se colam numa planilha, os campos de dados v\u00eam nas colunas certas. <\/p>\n\n\n\n

Fun\u00e7\u00e3o ImportHTML<\/h3>\n\n\n\n

Outra op\u00e7\u00e3o \u00e9 usar a fun\u00e7\u00e3o de planilhas Google ImportHTML<\/strong>, que carrega uma tabela HTML em uma planilha. Por exemplo, se eu quiser buscar a tabela do PIB dos pa\u00edses do mundo na Wikipedia (a terceira <\/em>tabela na p\u00e1gina), usaria a seguinte fun\u00e7\u00e3o:<\/p>\n\n\n\n

=ImportHTML(\"https:\/\/en.wikipedia.org\/wiki\/List_of_countries_by_GDP_(PPP)_per_capita\";\"table\";3)  <\/pre>\n\n\n\n
https:\/\/docs.google.com\/spreadsheets\/d\/1aI1gVF07Xn9Kr0TCn5BdvTHgiaJZks2TI7GVmY8lQ4g\/edit#gid=0<\/a><\/p>\n\n\n\n
Veja uma planilha com teste da fun\u00e7\u00e3o ImportHTML<\/a>. <\/p>\n\n\n\n
Note que, se a planilha e o nome das fun\u00e7\u00f5es estiverem em portugu\u00eas, o caractere separador dos par\u00e2metros das fun\u00e7\u00f5es \u00e9 o ponto-e-v\u00edrgula (“;”), n\u00e3o a v\u00edrgula (“,”) usada em l\u00ednguas n\u00e3o-portuguesas.<\/p>\n\n\n\n
Ponto ou v\u00edrgula decimal?<\/h3>\n\n\n\n
Um cuidado que tem que se ter quando se trabalha com n\u00fameros \u00e9 a  marca de fra\u00e7\u00f5es decimais. No Brasil se usa a V\u00cdRGULA decimal. Os norte-americanos usam o PONTO decimal. Na  hora de se importar dados para uma planilha, alguns programas deixam o operador especificar se quer usar pontos ou mil\u00edmetros, mas a maioria n\u00e3o avisa nada e importa os n\u00fameros  erradamente. Se  planilha for especificada como de l\u00edngua inglesa, ela interpretar\u00e1 o ponto<\/strong> como o separador decimal. Se a l\u00edngua for portugu\u00eas, ela interpretar\u00e1 a v\u00edrgula<\/strong> como separador decimal. Tamb\u00e9m \u00e9 poss\u00edvel se especificar apenas uma coluna com uma l\u00edngua diferente do resto da planilha. Uma coluna num\u00e9rica formatada com a l\u00edngua inglesa ir\u00e1 usar ponto decimal<\/strong>, em vez de v\u00edrgula decimal, mesmo que a planilha seja em l\u00edngua portuguesa.<\/p>\n","protected":false},"excerpt":{"rendered":"
A principal ferramenta do jornalista de dados \u00e9 a planilha, tipo LibreOffice Calc, M.S. Excel ou Google Planilhas. Al\u00e9m de calculadoras program\u00e1veis, as planilhas tamb\u00e9m s\u00e3o usadas como bancos de […]<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[27,1,10,7],"tags":[104],"class_list":["post-5656","post","type-post","status-publish","format-standard","hentry","category-database","category-geral","category-jornalismo","category-jornalismo-online","tag-rapagem"],"_links":{"self":[{"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/posts\/5656","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/comments?post=5656"}],"version-history":[{"count":18,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/posts\/5656\/revisions"}],"predecessor-version":[{"id":6104,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/posts\/5656\/revisions\/6104"}],"wp:attachment":[{"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/media?parent=5656"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/categories?post=5656"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/tags?post=5656"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}