Repozytorium na potrzeby zajęć z przedmitu "Analiza danych niekompletnych"

Podstawowe informacje

• Materiały: github, moodle

• Zaliczenie: projekt przez Kaggle

• Sylabus

• Slajdy

• Shiny:

  • Wizualizacja imputacji danych 1

• Zaliczenie:

  • szablon w quarto: plik.qmd, wygląd raportu
  • szablon w jupyter notebook (colab)

Materiały na zajęcia

1. Problematyka braków danych

• przydatne procedury:
  • R: rnorm, plogis, density, ...
  • Python: np.random..., gaussian_kde, ...
• kody do generowania braków danych

2. Kodowanie braków danych w pakietatch statystycznych:

• R: NA, NA_integer_, NA_character_, is.na, Inf, NaN
• Python: np.nan, pd.np.nan, pd.NA, pd.NaT, is.null
• kody na zajecia
• Zbiory danych na potrzeby zajęć:
  • csv
  • sav -- Bilans Kapitału Ludzkiego -- zbiór, kwestionariusz

3. Metody wizualizacji braków danych

• narzędzia:
  • R: VIM, naniar, panelView
  • Python: missingno, upsetty
• Kody generujące przykłady: R, Python
• Zbiory danych na zajęcia: dane przekrojowe, dane panelowe (long), dane panelowe (wide)
• Zbiór danych na ćwiczenia data2-zajecia-przyklad1.csv
• Notatnik na zajęcia: Wizualizacja braków danych

4. Imputacja danych

• Imputacja dedukcyjna:

  • R: zoo::na.locf, tidyr::fill, data.table::nafill, deducorrect
  • Python: fillna z pandas
  • Zbiór danych na ćwiczenia data3-zajecia-przyklad1.csv
  • Notatnik

• Imputacja metodą najbliższego sąsiada:

  • R: simputation, VIM
  • Python: KNNImputer z sklearn.impute
  • Zbiór danych na ćwiczenia data4-czytelnictwo.csv
  • Notatnik

• Imputacja metodą predykcyjnego dopasowania średnich (ang. predictive mean matching)

  • R: simputation, FNN
  • Python: sklearn.linear_model, sklearn.neighbors
  • Zbiór danych na ćwiczenia data4-czytelnictwo.csv
  • Notatnik

• Imputacja wielokrotna

  • R: mice, rMIDAS
  • Python: IterativeImputer (from sklearn.impute), MIDASpy
  • Notatnik

• Imputacja regresyjna

  • Notatnik

5. Case study

• opis
• zbior

6. Kalibracja

• Wstęp do kalibracji

  • R: survey, sampling, laeken
  • Python: samplics
  • Notatnik
  • Dane na zajęcia data5-kalibracja.csv

• Kalibracja (bardziej zaawansowana)

  • R: survey
  • Python: samplics
  • Notatnik
  • Dane na zajęcia gospodarstwa-zajecia.xlsx

7. Ważenie przez odwrotność prawdopodobieństwa odpowiedzi

• PSW
  • R: stats, glmnet
  • Python: TBA
  • Notatnik
  • Dane na zajęcia gospodarstwa-zajecia.xlsx

8. Estymacja wariancji

• R: boot
• Python: TBA
• Notatnik
• Dane na zajęcia gospodarstwa-zajecia.xlsx