Introdução ao Skippa

Resumo

É provável que todos os profissionais de data science conheçam pandas e scikit-learn. O workflow habitual começa com a limpeza dos dados em pandas, seguida de mais pré-processamento com pandas ou transformers de scikit-learn, como StandardScaler e OneHotEncoder. Depois, passa-se a um algoritmo de machine learning (scikit-learn).

Este workflow apresenta alguns problemas:
1. A fase de desenvolvimento do seu workflow é bastante complexa e exige muito código ?
2. É difícil reproduzir o workflow para fazer previsões na fase de implementação ?
3. As soluções existentes para reduzir estes problemas (ainda) não são suficientemente boas ?

Skippa é um pacote concebido para:

• ✨ simplificar drasticamente o desenvolvimento
• ? reunir toda a limpeza e o pré-processamento de dados, juntamente com o algoritmo, num único ficheiro pipeline
• ? reutilizar as interfaces de pandas e scikit-learn que já conhece"

Skippa ajuda a definir facilmente transformações de limpeza e pré-processamento de dados. Funciona, em linhas gerais, assim:

from skippa import Skippa, columns from sklearn.linear_model import LogisticRegression X, y = get_training_data(...) pipeline = ( Skippa() .impute(columns(dtype_include='object'), strategy='most_frequent') .impute(columns(dtype_include='number'), strategy='median') .scale(columns(dtype_include='number'), type='standard') .onehot(columns(['category1', 'category2'])) .model(LogisticRegression()) ) pipeline.fit(X, y) predictions = pipeline.predict_proba(X)

☝️Skippa não pretende resolver todos os problemas, não abrange todas as funcionalidades de que poderá vir a precisar e não é uma solução altamente escalável, mas deverá simplificar consideravelmente > 80% dos projetos habituais de machine learning baseados em pandas/sklearn. 

Links

• ? Github
• ? pypi
• ? readthedocs

Leia o resto do artigo aqui > Introduction Skippa [ENG]