Abrir o app

Guias › Python › Automações

Python Automações: Buscar dados na internet, Páginas e erros da API, Extrair dados de HTML e mais (lições 26 a 30)

Python é uma das linguagens de programação mais usadas para automatizar tarefas, analisar dados e criar sistemas. Aqui você aprende do zero, com frases simples e exemplos curtos, e depois automatiza arquivos, e-mails e consultas na internet.

Neste guia você vai ver as lições 26 a 30 do curso de Python (nível Automações). Cada lição explica o assunto em quatro partes: o que é, para que serve, como usar e o que você vai ver na tela. No final, há um projeto para juntar tudo o que aprendeu.

Lição 26: Buscar dados na internet

requests.get(url) pede uma página ou uma API. resposta.status_code diz se deu certo (200) e resposta.json() transforma o JSON em dicionário. O params={...} monta a pergunta (?moeda=USD). Neste treino a internet é de mentira, mas o código é o mesmo do mundo real.

O que é

A internet é cheia de "balcões" (APIs) onde um programa faz um pedido e recebe a resposta em JSON. O requests.get faz o pedido. O status_code diz se deu certo: 200 é sucesso e 404 é "não achei".

Para que serve

Serve para buscar dados atualizados: cotação do dólar, previsão do tempo, preços, lista de produtos de uma loja.

Como você vai usar

Use r = requests.get(url, params={'moeda': 'USD'}). Se r.status_code == 200, pegue os dados com r.json()['valor']. Senão, mostre que está indisponível.

O que vai aparecer

Três linhas: o valor do dólar, o do euro e o aviso de que uma moeda que não existe está indisponível (404).

Exemplo

import requests
r = requests.get('https://api.exemplo.com/cotacao', params={'moeda': 'USD'})
print(r.status_code)
dados = r.json()
print(dados['moeda'], dados['valor'])

Lição 27: Páginas e erros da API

APIs entregam os resultados em páginas: pegue uma, junte os itens e siga para a próxima até acabar. raise_for_status() transforma um erro HTTP (404, 500) em exceção, que você captura com try/except requests.exceptions.HTTPError.

O que é

Quando há muita coisa para entregar, a API manda aos poucos, em páginas, e avisa qual é a próxima. O raise_for_status() transforma uma resposta de erro (como 500) numa exceção do Python.

Para que serve

Serve para buscar todos os resultados de uma lista grande e para o robô reagir direito quando o servidor está com problemas.

Como você vai usar

Use um while pagina: que pede a página, soma os itens com pedidos += dados['itens'] e troca pagina por dados['proxima']. Para o erro, use try / except requests.exceptions.HTTPError.

O que vai aparecer

A quantidade de pedidos (3), o total (400) e a linha erro: 500.

Exemplo

import requests
itens, pagina = [], 1
while pagina:
    r = requests.get('https://api.exemplo.com/produtos', params={'pagina': pagina})
    dados = r.json()
    itens += dados['itens']
    pagina = dados['proxima']
print(itens)

Lição 28: Extrair dados de HTML

Uma página web é um texto cheio de tags. O HTMLParser (módulo html.parser) percorre a página: handle_starttag recebe cada tag aberta (com seus atributos) e handle_data recebe o texto. No mundo real a página vem de requests.get(url).text; respeite sempre os termos de uso do site.

O que é

Uma página da internet é um texto com "etiquetas" chamadas tags, como <span class="preco">80.50</span>. O HTMLParser percorre o texto e avisa o seu programa a cada tag aberta e a cada pedaço de texto.

Para que serve

Serve para tirar informações de páginas que não têm uma API: preços, títulos, links. Sempre respeite os termos de uso de cada site.

Como você vai usar

Crie uma classe que herda de HTMLParser. Em handle_starttag, guarde a class do span; em handle_data, guarde o nome ou o preço conforme a class. Chame p.feed(html) para rodar.

O que vai aparecer

Uma linha para cada produto com o nome e o preço e, no final, a soma dos preços.

Exemplo

from html.parser import HTMLParser
class Links(HTMLParser):
    def __init__(self):
        super().__init__()
        self.links = []
    def handle_starttag(self, tag, attrs):
        if tag == 'a':
            self.links.append(dict(attrs)['href'])
p = Links()
p.feed('<p><a href="/a">A</a> e <a href="/b">B</a></p>')
print(p.links)
Publicidade

Lição 29: Programa de linha de comando

argparse transforma o script numa ferramenta de terminal: argumentos posicionais, opções como --dias 30 e chaves como --simular. parse_args(lista) lê a lista (sem lista, lê sys.argv). A função main() e o if __name__ == "__main__" deixam o programa organizado.

O que é

Programa de linha de comando é aquele que você roda com parâmetros, como limpar logs --dias 30. O argparse lê esses parâmetros e ainda cria a ajuda (--help) de graça.

Para que serve

Serve para o mesmo programa ser usado de jeitos diferentes sem mexer no código, e para o agendador do computador chamar o robô com as opções certas.

Como você vai usar

Crie um ArgumentParser, adicione add_argument('pasta'), add_argument('--dias', type=int, default=30) e add_argument('--simular', action='store_true'). Use parse_args(argv) e o if __name__ == '__main__'.

O que vai aparecer

Primeiro o ensaio (apagaria...), depois a faxina de verdade (apagado...) e, no final, a lista do que sobrou na pasta.

Exemplo

import argparse
ap = argparse.ArgumentParser(description='Limpa arquivos velhos')
ap.add_argument('pasta')
ap.add_argument('--dias', type=int, default=30)
ap.add_argument('--simular', action='store_true')
args = ap.parse_args(['logs', '--dias', '7', '--simular'])
print(args.pasta, args.dias, args.simular)

Lição 30: Agendar tarefas

Para o robô rodar sozinho nos horários certos, use sched.scheduler: enter(atraso, prioridade, funcao, argumentos) marca a tarefa e run() espera e executa tudo na ordem. No mundo real, quem faz esse papel é o agendador do sistema (cron no Linux, Agendador de Tarefas no Windows). Aqui o relógio é de mentira e passa na hora.

O que é

O agendador guarda uma agenda de tarefas com a hora de cada uma e as executa na ordem certa. Uma tarefa pode agendar a si mesma de novo, e assim se repete.

Para que serve

Serve para o robô rodar sozinho no horário certo: o relatório toda manhã, o backup toda noite. No computador de verdade, esse papel é do cron ou do Agendador de Tarefas.

Como você vai usar

Crie sched.scheduler(time.time, time.sleep), marque com agenda.enter(atraso, 1, funcao, (argumentos,)) e rode com agenda.run(). Dentro da tarefa, agende a próxima vez.

O que vai aparecer

A hora de cada execução (30s, 45s, 60s e 90s) e a frase final com o total de segundos.

Exemplo

import sched, time
inicio = time.time()
agenda = sched.scheduler(time.time, time.sleep)
def tarefa(nome):
    print(f'{int(time.time() - inicio)}s: {nome}')
agenda.enter(5, 1, tarefa, ('backup',))
agenda.enter(2, 1, tarefa, ('relatorio',))
agenda.run()

Projeto: coletor de preços agendado

Monte um coletor de preços com linha de comando e agenda. A página https://loja.exemplo.com/produtos tem uma lista de produtos: cada nome está num span de class nome e cada preço num span de class preco.

  1. Crie a classe Precos, que herda de HTMLParser e guarda nomes e precos (os preços como float).
  2. Crie coletar(limite): baixa a página com requests.get, usa a classe e devolve a lista de pares (nome, preco) só dos produtos com preço menor ou igual ao limite.
  3. Crie main(argv=None) com argparse: a opção --limite (float, padrão 1000). Dentro de main, crie um sched.scheduler e a função rodar(nome), que imprime Xs nome: N produtos (X = segundos desde o início, N = quantos coletar devolveu) e, abaixo, uma linha nome: preco (com dois espaços na frente) para cada produto. Depois ela consulta https://loja.exemplo.com/promocoes com raise_for_status() e, se der HTTPError, imprime dois espaços e promocoes fora do ar: com o código (e.response.status_code).
  4. Agende rodar("manha") para daqui a 0 segundo e rodar("tarde") para daqui a 60 segundos, execute a agenda e imprima Total: N segundos.
  5. Dentro de if __name__ == "__main__":, chame main(["--limite", "200"]).

O que este projeto usa: Buscar dados na internet, Páginas e erros da API, Extrair dados de HTML, Programa de linha de comando, Agendar tarefas.

No CodeUp esse projeto é feito no próprio app, com dicas e correção automática, e não tira vidas de ninguém.

Publicidade

Pratique de verdade. Ler é só o começo: no CodeUp você escreve o código, recebe a correção na hora e ganha pontos.

Começar grátis