Agora ela usa essa
https://loterias.caixa.gov.br/Paginas/Download-Resultados.aspx

e não com um ZIp no final

Ocorre o seguinte erro:

OSError: Cannot save file into a non-existent directory: 'base'

quando scrapping_resultados.py é executado.
Sou iniciante, mas iniciante mesmo no python e não faço ideia de como resolver isso.

Olá! Parabéns pelo projeto.

Gostaria de saber como o arquivo base_dados.xlsx é gerado. Vi que vem um arquivo xlsx que não é atualizado ao rodar o programa.

Boa Noite amigo, muito legal sua iniciativa, gostaria de contribuir com o projeto se achar interessando pode colocar esse codigo para que possa automatizar a captura dos resultados dos concursos de forma automatica com os dados sendo atualizado pela caixa.

Ai teria que adaptar para poder criar as colunas que utiliza para o controle dos ciclos.

`import json
import requests
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno
import zipfile
import math as math
from pylab import rcParams
from bs4 import BeautifulSoup
from random import randint
import lxml

url = 'http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_lotfac.zip'
target_path = 'D_lotfac.zip'
response = requests.get(url, stream=True)

handle = open(target_path, "wb")
for chunk in response.iter_content(chunk_size=512):
if chunk: # filter out keep-alive new chunks
handle.write(chunk)
handle.close()
with zipfile.ZipFile(target_path) as zf:
zf.extractall()

fileHtml = 'd_lotfac.htm'

f = open(fileHtml, 'r', encoding='latin-1')
table=f.read()

soup = BeautifulSoup(table, 'html.parser')
table = soup.find(name='table')

table_str = str(table)
df = pd.read_html(table_str)[0]

df.shape
df.dtypes

df['data_sorteio_conv'] = df.iloc[:,1]
df.data_sorteio_conv = pd.to_datetime(df.data_sorteio_conv)

df['day'] = df.data_sorteio_conv.dt.day
df['month'] = df.data_sorteio_conv.dt.month
df['year'] = df.data_sorteio_conv.dt.year

df_ganhadores = df[:]

df_ganhadores.head()

Visão geral do dataframe

msno.matrix(df=df.iloc[:,0:df.shape[1]], figsize=(20, 5), color=(0.42, 0.1, 0.05))

Removendo valores nulos

df = df.dropna(subset=['Concurso'])
msno.matrix(df=df.iloc[:,0:df.shape[1]], figsize=(20, 5), color=(0.42, 0.1, 0.05))

Removendo colunas Cidade e UF

df = df.drop(['Cidade', 'UF'], axis=1)
msno.matrix(df=df.iloc[:,0:df.shape[1]], figsize=(20, 5), color=(0.42, 0.1, 0.05))

Ganhadores X Volume do Prêmio por Estado

ax = df_ganhadores.groupby(['UF'])['Ganhadores_13_Números'].agg('sum').sort_values(ascending=False).plot(kind='bar', title='Ganhadores por Estado', figsize=(15,5), fontsize=12, legend=True, position=1, color='gray')

df_ganhadores.groupby(['UF'])['Rateio_Sena'].agg('sum').sort_values(ascending=False).plot(kind='bar', ax=ax, secondary_y=True, legend=True, position=0, color='blue')

Ganhadores X Mes

Ganhadores X Volume do Prêmio por Estado

df_ganhadores.groupby(['month'])['Ganhadores_15_Números'].agg('sum').plot(kind='bar', title='Ganhadores X Mês', fontsize=12, figsize=(15,5), legend=True, color='gray')

Verificando se alguma vez as dezenas se repetiram na mesma ordem

df.groupby(['Bola1','Bola2', 'Bola3', 'Bola4', 'Bola5', 'Bola6','Bola7', 'Bola8', 'Bola9', 'Bola10', 'Bola11','Bola12', 'Bola13', 'Bola14', 'Bola15']).size().sort_values(ascending=False)

As dezenas mais sorteadas em todos os jogos

dezenas = pd.DataFrame(df['Bola1'].tolist() + df['Bola2'].tolist() + df['Bola3'].tolist() + df['Bola4'].tolist() + df['Bola5'].tolist() + df['Bola6'].tolist() +df['Bola7'].tolist() + df['Bola8'].tolist() + df['Bola9'].tolist() + df['Bola10'].tolist() + df['Bola11'].tolist() + df['Bola12'].tolist() +
df['Bola13'].tolist() + df['Bola14'].tolist() + df['Bola15'].tolist(), columns=['numeros'])

dezenas['numeros'].value_counts().sort_values(ascending=True).plot(kind='barh', title='As quinze dezenas mais sorteadas em todos os jogos', figsize=(10,5), fontsize=12, legend=True, color='gray')

Criando dataframe que vamos usar nos modelos

df_clean = df
index = 0
anterior = ''
for concurso in df['Concurso']:
if(concurso == anterior):
df_clean = df_clean.drop(index)
index += 1
anterior = concurso

df_clean.shape

df_nn = df_clean[['Bola1','Bola2', 'Bola3', 'Bola4', 'Bola5', 'Bola6','Bola7', 'Bola8', 'Bola9', 'Bola10', 'Bola11','Bola12', 'Bola13', 'Bola14', 'Bola15', 'Ganhadores_15_Números']]

Deixando os nomes das coluna em minusculo

df_nn.columns = map(str.lower, df_nn.columns)

df_nn.head(15)

Pode existir mais de um ganhador por jogo

df_nn[df_nn['ganhadores_15_números'] > 1].groupby('ganhadores_15_números')['ganhadores_15_números'].agg('count').plot(kind='bar',figsize=(10,5), color='gray', fontsize=12)

Então tudo jogo que tiver um ou mais ganhadores deixamos como o numeoro 1

df_nn.loc[df_nn['ganhadores_15_números'] > 0, 'ganhadores_15_números'] = 1

df_nn['ganhadores_15_números'].value_counts().plot(kind='bar', figsize=(10,5), color='gray', fontsize=12)

montando vetor concurso anterior para uso futuro - repetidas do anterior

concurso = []
counts = []
anterior = [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
for index, row in df_nn.iterrows():
concurso = []
concurso.append(row['bola1'])
concurso.append(row['bola2'])
concurso.append(row['bola3'])
concurso.append(row['bola4'])
concurso.append(row['bola5'])
concurso.append(row['bola6'])
concurso.append(row['bola7'])
concurso.append(row['bola8'])
concurso.append(row['bola9'])
concurso.append(row['bola10'])
concurso.append(row['bola11'])
concurso.append(row['bola12'])
concurso.append(row['bola13'])
concurso.append(row['bola14'])
concurso.append(row['bola15'])
count = 0
for x in range(15):
if(np.count_nonzero(concurso==anterior[x]) > 0):
count += 1
anterior = concurso

ultimo_sorteio = sorted(anterior)

print("\n")
print("Resultado do Ultimo Concurso: {0} -> Dezenas: {1}".format(df_nn.shape[0], ultimo_sorteio))
print("\n")`

O procedimento que vou relatar abaixo é basicamente fazer na mão (sem precisar saber de programação!!) oq o script faz para obter os dados da CEF, tratar esses dados (vamos usar o Excel e o bloco de notas Notepad++) e gerar o arquivo CSV. Uma vez gerado o arquivo CSV é só alimentar esse arquivo com os números sorteados futuramente, sem precisar fazer isso tudo novamente. :-)

LEIA TUDO ANTES E DEPOIS FAÇA PASSO A PASSO

O script scrapping_resultados.py indica que os dados são obtidos da CEF e salvos no arquivo CSV ./base/resultados.csv
Para obter os dados vá para o site da CEF "https: // loterias . caixa . gov . br / Paginas / Lotofacil.aspx" e você verá o resultado do último concurso.
Role a página até o final e encontre "Download de Resultados", clique no link "Resultados da Lotofácil por ordem crescente."
Uma nova aba será aberta com todos os resultados do primeiro concurso até o último, faça um scrapping dessa tabela ou manualmente selecione todos os dados e cole dentro do Excel. Quando for colar no Excel clique com o botão direito na célula de destino e clique sobre o ícone de uma PRANCHETA abaixo de OPÇÕES DE COLAGEM. Isso removerá a formatação do site e colará os dados puros.
Como houve vários ganhadores por concursos, há algumas linhas em branco e preenchidas apenas com siglas dos estados. Selecione a primeira linha da coluna, onde estão os cabeçalhos, e ative o FILTRO do Excel (CTRL + SHIFT + L).
No filtro da primeira coluna com o nome CONCURSO, desmarque SELECIONAR TODOS e selecione apenas o (Vazio) que é a última opção.
Selecione todas as linhas vazias (clicando com o mouse sobre o número 3 da primeira linha vazia após o filtro aplicado) e arraste o mouse até a última linha da tabela. Depois clique sobre o número de alguma linha selecionada e vá em REMOVER LINHAS.
Agora você limpou as linhas em branco :-) Remova o filtro da primeira coluna e desative o filtro do Excel.
De todas odas as linhas e colunas que foram coladas, as únicas colunas que você precisará manter são:
Concurso, Data_Sorteio, Bola1 até a coluna Bola15 (coluna C até coluna Q) e Ganhadores_15_Números
Remova todas as outras colunas. Você deve ficar com 18 colunas preenchidas no Excel (de A até R)
Renomeie as colunas dessa forma, como manda o script scrapping_resultados.py:

Bola1 para B1, Bola2 para B2, Bola3 para B3, Bola4 para B4, Bola5 para B5, Bola6 para B6, Bola7 para B7, Bola8 para B8, Bola9 para B9, Bola10 para B10, Bola11 para B11, Bola12 para B12, Bola13 para B13, Bola14 para B14, Bola15 para B15, Ganhadores_15_Números para Ganhou

Com isso feito precisamos gerar o arquivo CSV. A coluna da data dos concursos precisa ser trabalhada para ser mantida no formato DD/MM/AAAA no CSV, para isso usaremos o aplicativo Notepad++
Selecione todas as linhas com as datas e cole dentro do Notepad++
Com as datas coladas, pressione CTRL + H para abrir o menu SUBSTITUIR (ou REPLACE) do Notepad++
No menu SUBSTITUIR (ou REPLACE) procure por MODO DE BUSCA (ou SEARCH MODE) e o altere para EXPRESSÃO REGULAR (ou REGULAR EXPRESSION)
No meio dessa caixa de busca, tem duas opções. A primeira é o que queremos encontrar e a segunda e pelo que queremos substituir o que for encontrado. Na primeira opção coloque o sinal de circunflexo ^ (fica ao lado do Ç no teclado ABNT2, é só apertar ele uma vez e apertar ESPAÇO pra ele aparecer). Na segunda opção coloque uma aspa simples ' (fica ao lado do 1 no teclado ABNT2). Agora clique em SUBSTITUIR TODOS (ou REPLACE ALL) no botão à direita dentro da caixa de substituir. Com isso você adicionou uma aspa simples no inicio de cada linha com data. :-)
Selecione todas as datas e substitua as datas da coluna DATA_SORTEIO dentro do Excel.
A última coluna é a coluna R chamada GANHOU, na coluna S e célula S1 cole essa fórmula do Excel:

=CONCATENAR(A1;";";B1;";";C1;";";D1;";";E1;";";F1;";";G1;";";H1;";";I1;";";J1;";";K1;";";L1;";";M1;";";N1;";";O1;";";P1;";";Q1;";";R1)

Depois arraste essa fórmula até a última linha da tabela. Isso irá gerar a base do arquivo CSV. :-)

Copie tudo que está nessa coluna e cole dentro do Bloco de Notas do Windows (é mais prático agora que o Notepad ++).
Pressione CTRL + H para abrir o menu SUBSTITUIR. Na primeira opção coloque uma aspa simples e na segunda não coloque nada, deixe em branco. Clique em SUBSTITUIR TUDO
Salve seu arquivo como resultados.csv dentro da pasta do projeto na pasta com nome base

Agora toda vez que for adicionar novos resultados é só acessar o site da CEF e adicionar ao CSV o número do concurso, a data, as bolas e o número de ganhadores separando tudo por ; e sem espaços em novas linhas :-)

Enquanto ninguém corrigir o script é só usar esse procedimento.

Caso haja um erro "module 'numpy' has no attribute 'bool'" ao executar o programa, basta fazer o downgrade da versão do Numpy para a versão 1.23.1 e para isso execute os dois comandos abaixo:

python -m pip uninstall numpy
python -m pip install numpy==1.23.1

Posso ajudar em algo? Vc tem resultados de ganhos com esse projeto ?