{"id":1653,"date":"2012-03-24T22:10:59","date_gmt":"2012-03-25T01:10:59","guid":{"rendered":"http:\/\/meiradarocha.jor.br\/news\/?p=1653"},"modified":"2013-03-06T16:21:06","modified_gmt":"2013-03-06T19:21:06","slug":"como-baixar-todas-as-capas-do-newseum","status":"publish","type":"post","link":"https:\/\/meiradarocha.jor.br\/news\/2012\/03\/24\/como-baixar-todas-as-capas-do-newseum\/","title":{"rendered":"Como baixar todas as capas do Newseum"},"content":{"rendered":"
\"Xpath<\/a>

Xpath Checker mostra todos os links do Newseum<\/p><\/div>\n

A se\u00e7\u00e3o “Capas de Hoje” do Newseum<\/a> \u00e9 uma grande fonte de pesquisa para professores, estudantes e jornalistas. Mas, quando a gente precisa de todas as capas para algum estudo comparativo, \u00e9 chato ficar clicando em cada miniatura e depois em cada link para PDF<\/strong> ou jpeg<\/strong>. Neste artigo, mostro como esta tarefa pode ser facilitada com um pouco de processamento de texto b\u00e1sico.<\/p>\n

A jogada \u00e9 obter uma lista com os nomes dos arquivos de capas e, a partir dela, gerar uma lista com os links para os arquivos PDF (ou jpg).<\/p>\n

Obtendo a lista de todas as capas<\/h3>\n
    \n
  1. Preciso ter instalada a extens\u00e3o XPath Checker do Firefox.<\/li>\n
  2. Nas p\u00e1ginas de miniatura de capas<\/a> do Newseum, pe\u00e7o para serem exibidas todas (all) as capas de uma regi\u00e3o ou do arquivo completo.<\/li>\n
  3. Clico com o bot\u00e3o da direita em cima de um dos links para a p\u00e1gina grande e seleciono “View xpath” no menu que aparece. Surge a janela com o xpath <\/a>“id(‘mainContent’)\/x:div[3]\/x:div\/x:h2\/x:a\/x:em<\/strong>“. “div[3]” significa que eu cliquei no terceiro link da p\u00e1gina. Cada link est\u00e1 numa DIV HTML pr\u00f3pria. Este n\u00famero varia conforme o link em que eu clicar.<\/li>\n
  4. Substituo “div[3]<\/strong>” por “div[*]<\/strong>“. Se aparecer o trecho “\/x:em<\/strong>“, apago-o porque s\u00f3 quero o xpath at\u00e9 o “\/x:a<\/strong>“, que simboliza\u00a0 o link — \u00e2ncora hipertextual —\u00a0 na linguagem xpath. O asterisco \u00e9 um coringa que serve para listar todas as divis\u00f5es da p\u00e1gina. Na tela de baixo, ser\u00e1 apresentada uma lista de links para as p\u00e1ginas grandes.<\/li>\n
  5. Copio todo o c\u00f3digo da janela clicando nela e usando CTRL+A (selecionar tudo) e CTRL+C (copiar). O c\u00f3digo foi copiado como HTML e como texto plano.<\/li>\n
  6. Colo no editor de texto LibreOffice. Ser\u00e1 colado o HTML formatado. \u00c9 isto que eu preciso, para obter os links.<\/li>\n
  7. O Xpath Checker<\/strong> coloca os links dentro de uma tabela com duas colunas: um n\u00famero de ordem e dois pontos, e o link na segunda coluna. Seleciono e apago a primeira coluna. Para simplificar o posterior processamento de texto, converto a tabela em texto separando o texto por algo como ponto-e-v\u00edrgula (menu Tabela > Converter > De tabela para texto).<\/li>\n
  8. Salvo como texto HTML e abro o arquivo salvo no editor de texto plano Notepad++<\/strong>.<\/li>\n
  9. Aparece o c\u00f3digo HTML que devo limpar e formatar, fazendo algumas substitui\u00e7\u00f5es de texto.<\/li>\n
  10. Apago o c\u00f3digo HTML do in\u00edcio at\u00e9 a lista de links, pouco depois do <BODY>, e o HTML final, depois da lista.<\/li>\n
  11. Sobra uma lista de links como:
    \n<P CLASS=”western”>1:;<A HREF=”http:\/\/www.newseum.org\/todaysfrontpages\/hr.asp?fpVname=ARG_DD<\/span>&amp;ref_pge=gal&amp;b_pge=1″><EM>Diario<\/strong>
    \nDemocracia<\/EM><BR>Buenos Aires, Argentina<\/A><\/P><\/strong><\/li>\n
  12. Eu preciso s\u00f3 do nome do arquivo de capa. No caso acima, \u00e9 ARG_DD<\/strong><\/span>.<\/li>\n
  13. Seleciono os caracteres de fim-de-linha (no Windows, CR+LF), teclo CTRL+H e troco todos os fins-de-linha por nada, e “<\/A><\/P><\/strong>” por nova linha (\\n), para deixar cada link numa \u00fanica linha.<\/li>\n
  14. Agora, troco “;<A HREF=”http:\/\/www.newseum.org\/todaysfrontpages\/hr.asp?fpVname=<\/strong>” pelo endere\u00e7o dos arquivos PDF, que obtenho na p\u00e1gina de uma das capas, no link “Readable PDF”. Ou seja: “http:\/\/webmedia.newseum.org\/newseum-multimedia\/dfp\/pdf24\/<\/strong>“. Suponho que sejam os PDF do dia 24.<\/li>\n
  15. Marco no Notepad++ “Express\u00f5es regulares” e troco a express\u00e3o regular “<P>[0-9]*:<\/strong>” ou “^(<p.*?:)<\/strong>” — do in\u00edcio da linha at\u00e9 o primeiro “:” —\u00a0 por “wget -nc<\/strong> ” — o comando que vai baixar o PDF.<\/li>\n
  16. Troco a express\u00e3o regular “&amp;.*$<\/strong>” — do “&amp;” at\u00e9 o fim da linha — por “.pdf<\/strong>“, ou seja: tudo, de &amp; at\u00e9 o fim da linha, por “.pdf”.<\/li>\n
  17. Agora, eu tenho uma lista de comandos para baixar o PDF com o wget, como “wget -nc http:\/\/webmedia.newseum.org\/newseum-multimedia\/dfp\/pdf24\/ARG_DD<\/span>.pdf<\/strong>“.<\/li>\n
  18. Gravo o arquivo como newseum.sh<\/strong> (em Linux, preciso torn\u00e1-lo execut\u00e1vel) ou newseum.bat <\/strong>(em Windows), e est\u00e1 pronto o arquivo de comandos que pode ser executado para baixar todas as capas. Em Windows, o execut\u00e1vel wget.exe<\/a> deve estar na mesma pasta que o arquivo de comandos criado.<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"

    Neste artigo, descubra como baixar dezenas de capas do site Newseum.<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8,10],"tags":[],"class_list":["post-1653","post","type-post","status-publish","format-standard","hentry","category-internet","category-jornalismo"],"_links":{"self":[{"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/posts\/1653","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/comments?post=1653"}],"version-history":[{"count":0,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/posts\/1653\/revisions"}],"wp:attachment":[{"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/media?parent=1653"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/categories?post=1653"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/meiradarocha.jor.br\/news\/wp-json\/wp\/v2\/tags?post=1653"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}