Guias › Python › Automações
Python Automações: Buscar dados na internet, Páginas e erros da API, Extrair dados de HTML e mais (lições 26 a 30)
Python é uma das linguagens de programação mais usadas para automatizar tarefas, analisar dados e criar sistemas. Aqui você aprende do zero, com frases simples e exemplos curtos, e depois automatiza arquivos, e-mails e consultas na internet.
Neste guia você vai ver as lições 26 a 30 do curso de Python (nível Automações). Cada lição explica o assunto em quatro partes: o que é, para que serve, como usar e o que você vai ver na tela. No final, há um projeto para juntar tudo o que aprendeu.
Lição 26: Buscar dados na internet
requests.get(url) pede uma página ou uma API. resposta.status_code diz se deu certo (200) e resposta.json() transforma o JSON em dicionário. O params={...} monta a pergunta (?moeda=USD). Neste treino a internet é de mentira, mas o código é o mesmo do mundo real.
O que é
A internet é cheia de "balcões" (APIs) onde um programa faz um pedido e recebe a resposta em JSON. O requests.get faz o pedido. O status_code diz se deu certo: 200 é sucesso e 404 é "não achei".
Para que serve
Serve para buscar dados atualizados: cotação do dólar, previsão do tempo, preços, lista de produtos de uma loja.
Como você vai usar
Use r = requests.get(url, params={'moeda': 'USD'}). Se r.status_code == 200, pegue os dados com r.json()['valor']. Senão, mostre que está indisponível.
O que vai aparecer
Três linhas: o valor do dólar, o do euro e o aviso de que uma moeda que não existe está indisponível (404).
Exemplo
import requests
r = requests.get('https://api.exemplo.com/cotacao', params={'moeda': 'USD'})
print(r.status_code)
dados = r.json()
print(dados['moeda'], dados['valor'])Lição 27: Páginas e erros da API
APIs entregam os resultados em páginas: pegue uma, junte os itens e siga para a próxima até acabar. raise_for_status() transforma um erro HTTP (404, 500) em exceção, que você captura com try/except requests.exceptions.HTTPError.
O que é
Quando há muita coisa para entregar, a API manda aos poucos, em páginas, e avisa qual é a próxima. O raise_for_status() transforma uma resposta de erro (como 500) numa exceção do Python.
Para que serve
Serve para buscar todos os resultados de uma lista grande e para o robô reagir direito quando o servidor está com problemas.
Como você vai usar
Use um while pagina: que pede a página, soma os itens com pedidos += dados['itens'] e troca pagina por dados['proxima']. Para o erro, use try / except requests.exceptions.HTTPError.
O que vai aparecer
A quantidade de pedidos (3), o total (400) e a linha erro: 500.
Exemplo
import requests
itens, pagina = [], 1
while pagina:
r = requests.get('https://api.exemplo.com/produtos', params={'pagina': pagina})
dados = r.json()
itens += dados['itens']
pagina = dados['proxima']
print(itens)Lição 28: Extrair dados de HTML
Uma página web é um texto cheio de tags. O HTMLParser (módulo html.parser) percorre a página: handle_starttag recebe cada tag aberta (com seus atributos) e handle_data recebe o texto. No mundo real a página vem de requests.get(url).text; respeite sempre os termos de uso do site.
O que é
Uma página da internet é um texto com "etiquetas" chamadas tags, como <span class="preco">80.50</span>. O HTMLParser percorre o texto e avisa o seu programa a cada tag aberta e a cada pedaço de texto.
Para que serve
Serve para tirar informações de páginas que não têm uma API: preços, títulos, links. Sempre respeite os termos de uso de cada site.
Como você vai usar
Crie uma classe que herda de HTMLParser. Em handle_starttag, guarde a class do span; em handle_data, guarde o nome ou o preço conforme a class. Chame p.feed(html) para rodar.
O que vai aparecer
Uma linha para cada produto com o nome e o preço e, no final, a soma dos preços.
Exemplo
from html.parser import HTMLParser
class Links(HTMLParser):
def __init__(self):
super().__init__()
self.links = []
def handle_starttag(self, tag, attrs):
if tag == 'a':
self.links.append(dict(attrs)['href'])
p = Links()
p.feed('<p><a href="/a">A</a> e <a href="/b">B</a></p>')
print(p.links)Lição 29: Programa de linha de comando
argparse transforma o script numa ferramenta de terminal: argumentos posicionais, opções como --dias 30 e chaves como --simular. parse_args(lista) lê a lista (sem lista, lê sys.argv). A função main() e o if __name__ == "__main__" deixam o programa organizado.
O que é
Programa de linha de comando é aquele que você roda com parâmetros, como limpar logs --dias 30. O argparse lê esses parâmetros e ainda cria a ajuda (--help) de graça.
Para que serve
Serve para o mesmo programa ser usado de jeitos diferentes sem mexer no código, e para o agendador do computador chamar o robô com as opções certas.
Como você vai usar
Crie um ArgumentParser, adicione add_argument('pasta'), add_argument('--dias', type=int, default=30) e add_argument('--simular', action='store_true'). Use parse_args(argv) e o if __name__ == '__main__'.
O que vai aparecer
Primeiro o ensaio (apagaria...), depois a faxina de verdade (apagado...) e, no final, a lista do que sobrou na pasta.
Exemplo
import argparse
ap = argparse.ArgumentParser(description='Limpa arquivos velhos')
ap.add_argument('pasta')
ap.add_argument('--dias', type=int, default=30)
ap.add_argument('--simular', action='store_true')
args = ap.parse_args(['logs', '--dias', '7', '--simular'])
print(args.pasta, args.dias, args.simular)Lição 30: Agendar tarefas
Para o robô rodar sozinho nos horários certos, use sched.scheduler: enter(atraso, prioridade, funcao, argumentos) marca a tarefa e run() espera e executa tudo na ordem. No mundo real, quem faz esse papel é o agendador do sistema (cron no Linux, Agendador de Tarefas no Windows). Aqui o relógio é de mentira e passa na hora.
O que é
O agendador guarda uma agenda de tarefas com a hora de cada uma e as executa na ordem certa. Uma tarefa pode agendar a si mesma de novo, e assim se repete.
Para que serve
Serve para o robô rodar sozinho no horário certo: o relatório toda manhã, o backup toda noite. No computador de verdade, esse papel é do cron ou do Agendador de Tarefas.
Como você vai usar
Crie sched.scheduler(time.time, time.sleep), marque com agenda.enter(atraso, 1, funcao, (argumentos,)) e rode com agenda.run(). Dentro da tarefa, agende a próxima vez.
O que vai aparecer
A hora de cada execução (30s, 45s, 60s e 90s) e a frase final com o total de segundos.
Exemplo
import sched, time
inicio = time.time()
agenda = sched.scheduler(time.time, time.sleep)
def tarefa(nome):
print(f'{int(time.time() - inicio)}s: {nome}')
agenda.enter(5, 1, tarefa, ('backup',))
agenda.enter(2, 1, tarefa, ('relatorio',))
agenda.run()Projeto: coletor de preços agendado
Monte um coletor de preços com linha de comando e agenda. A página https://loja.exemplo.com/produtos tem uma lista de produtos: cada nome está num span de class nome e cada preço num span de class preco.
- Crie a classe
Precos, que herda deHTMLParsere guardanomeseprecos(os preços comofloat). - Crie
coletar(limite): baixa a página comrequests.get, usa a classe e devolve a lista de pares(nome, preco)só dos produtos com preço menor ou igual ao limite. - Crie
main(argv=None)comargparse: a opção--limite(float, padrão 1000). Dentro demain, crie umsched.schedulere a funçãorodar(nome), que imprimeXs nome: N produtos(X = segundos desde o início, N = quantoscoletardevolveu) e, abaixo, uma linhanome: preco(com dois espaços na frente) para cada produto. Depois ela consultahttps://loja.exemplo.com/promocoescomraise_for_status()e, se derHTTPError, imprime dois espaços epromocoes fora do ar:com o código (e.response.status_code). - Agende
rodar("manha")para daqui a 0 segundo erodar("tarde")para daqui a 60 segundos, execute a agenda e imprimaTotal: N segundos. - Dentro de
if __name__ == "__main__":, chamemain(["--limite", "200"]).
O que este projeto usa: Buscar dados na internet, Páginas e erros da API, Extrair dados de HTML, Programa de linha de comando, Agendar tarefas.
No CodeUp esse projeto é feito no próprio app, com dicas e correção automática, e não tira vidas de ninguém.
Pratique de verdade. Ler é só o começo: no CodeUp você escreve o código, recebe a correção na hora e ganha pontos.