Variável de Arquivo texto

[cmoreti]

Pessoal, tenho uma tarefa repetitiva todas as semanas, é gerar mais de 200 arquivos. No início comecei a gerar pelo Sql Server SSIS, muito demorado. escrevi um Python que me facilitou bem a vida, porém um pouco demorado, em torno de 1h e 1/2, sou iniciante nessa plataforma.

Escrevi esse código:

import pyodbc

import pandas as pd

conn = pyodbc.connect(

'DRIVER={ODBC Driver 17 for SQL Server};SERVER=MinhaInstancia;DATABASE=MeuDataBase;UID=MeuUsuario;PWD=MinhaSenha')

cursor = conn.cursor()

NomeArquivo = 'Nome_Do_Meu_Arquivo'

query = "select * FROM Tabela"

df = pd.read_sql(query, conn)

df.to_csv(r"C:/ArquivosProjetoPython/bancos/" + NomeArquivo + "csv", index=False, header=True, sep='|', quoting=1)

Preciso automatizar essa rotina, Eu tenho na minha pasta vários arquivos com a query dentro. Preciso Ler arquivo por arquivo e setar uma variável no código acima.

Por exemplo:

Na variável NomeArquivo eu preciso pegar o nome do arquivo, nesse caso (Nome_Do_Meu_Arquivo) na pasta e setar nessa variável.

Na variável query eu preciso pegar a query que consta dentro do arquivo Nome_Do_Meu_Arquivo e setar nessa variável.

Preciso fazer isso em n arquivos.

Todos os arquivos ficam na mesma pasta.

Alguém pode me ajudar por favor? Lembrando. Sou iniciante na linguagem.

Obrigado