TPD-grupowanie2009.pdf

(2261 KB) Pobierz
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
Analiza Skupień - Grupowanie
Zaawansowana Eksploracja Danych
JERZY STEFANOWSKI
Inst. Informatyki PP
Wersja dla TPD 2009,
Aktualizacja 2010
Email: Jerzy.Stefanowski@cs.put.poznan.pl
845146282.551.png 845146282.662.png 845146282.707.png 845146282.718.png 845146282.001.png 845146282.012.png 845146282.023.png 845146282.034.png 845146282.045.png 845146282.056.png 845146282.067.png 845146282.078.png 845146282.089.png 845146282.100.png 845146282.111.png 845146282.122.png 845146282.133.png 845146282.144.png 845146282.155.png 845146282.166.png 845146282.177.png 845146282.188.png 845146282.199.png 845146282.210.png 845146282.221.png 845146282.232.png 845146282.243.png 845146282.254.png 845146282.265.png 845146282.276.png 845146282.287.png 845146282.298.png 845146282.309.png 845146282.320.png 845146282.331.png 845146282.342.png 845146282.353.png 845146282.364.png 845146282.375.png 845146282.386.png 845146282.397.png 845146282.408.png 845146282.419.png 845146282.430.png 845146282.441.png 845146282.452.png 845146282.463.png 845146282.474.png 845146282.485.png 845146282.496.png 845146282.507.png 845146282.518.png 845146282.529.png 845146282.540.png 845146282.552.png 845146282.563.png 845146282.574.png 845146282.585.png 845146282.596.png 845146282.607.png 845146282.618.png 845146282.629.png 845146282.640.png 845146282.651.png 845146282.663.png 845146282.674.png 845146282.685.png 845146282.696.png 845146282.701.png 845146282.702.png 845146282.703.png 845146282.704.png 845146282.705.png 845146282.706.png 845146282.708.png 845146282.709.png 845146282.710.png 845146282.711.png 845146282.712.png 845146282.713.png 845146282.714.png 845146282.715.png 845146282.716.png 845146282.717.png 845146282.719.png 845146282.720.png 845146282.721.png 845146282.722.png 845146282.723.png 845146282.724.png 845146282.725.png 845146282.726.png 845146282.727.png 845146282.728.png 845146282.002.png 845146282.003.png 845146282.004.png 845146282.005.png 845146282.006.png 845146282.007.png 845146282.008.png 845146282.009.png 845146282.010.png 845146282.011.png 845146282.013.png 845146282.014.png 845146282.015.png 845146282.016.png 845146282.017.png 845146282.018.png 845146282.019.png 845146282.020.png 845146282.021.png 845146282.022.png 845146282.024.png 845146282.025.png 845146282.026.png 845146282.027.png 845146282.028.png 845146282.029.png 845146282.030.png 845146282.031.png 845146282.032.png 845146282.033.png 845146282.035.png 845146282.036.png 845146282.037.png 845146282.038.png 845146282.039.png 845146282.040.png 845146282.041.png 845146282.042.png 845146282.043.png 845146282.044.png 845146282.046.png 845146282.047.png 845146282.048.png 845146282.049.png 845146282.050.png 845146282.051.png 845146282.052.png 845146282.053.png 845146282.054.png 845146282.055.png 845146282.057.png 845146282.058.png 845146282.059.png 845146282.060.png 845146282.061.png 845146282.062.png 845146282.063.png 845146282.064.png 845146282.065.png 845146282.066.png 845146282.068.png 845146282.069.png 845146282.070.png 845146282.071.png 845146282.072.png 845146282.073.png 845146282.074.png 845146282.075.png 845146282.076.png 845146282.077.png 845146282.079.png 845146282.080.png 845146282.081.png 845146282.082.png 845146282.083.png 845146282.084.png 845146282.085.png 845146282.086.png 845146282.087.png 845146282.088.png 845146282.090.png 845146282.091.png 845146282.092.png 845146282.093.png 845146282.094.png 845146282.095.png 845146282.096.png 845146282.097.png 845146282.098.png 845146282.099.png 845146282.101.png 845146282.102.png 845146282.103.png 845146282.104.png 845146282.105.png 845146282.106.png 845146282.107.png 845146282.108.png 845146282.109.png 845146282.110.png 845146282.112.png 845146282.113.png 845146282.114.png 845146282.115.png 845146282.116.png 845146282.117.png 845146282.118.png 845146282.119.png 845146282.120.png 845146282.121.png 845146282.123.png 845146282.124.png 845146282.125.png 845146282.126.png 845146282.127.png 845146282.128.png 845146282.129.png 845146282.130.png 845146282.131.png 845146282.132.png 845146282.134.png 845146282.135.png 845146282.136.png 845146282.137.png 845146282.138.png 845146282.139.png 845146282.140.png 845146282.141.png 845146282.142.png 845146282.143.png 845146282.145.png 845146282.146.png 845146282.147.png 845146282.148.png 845146282.149.png 845146282.150.png 845146282.151.png 845146282.152.png 845146282.153.png 845146282.154.png 845146282.156.png 845146282.157.png 845146282.158.png 845146282.159.png 845146282.160.png 845146282.161.png 845146282.162.png 845146282.163.png 845146282.164.png 845146282.165.png 845146282.167.png 845146282.168.png 845146282.169.png 845146282.170.png 845146282.171.png 845146282.172.png 845146282.173.png 845146282.174.png 845146282.175.png 845146282.176.png 845146282.178.png 845146282.179.png 845146282.180.png 845146282.181.png 845146282.182.png 845146282.183.png 845146282.184.png 845146282.185.png 845146282.186.png 845146282.187.png 845146282.189.png 845146282.190.png 845146282.191.png 845146282.192.png 845146282.193.png 845146282.194.png 845146282.195.png 845146282.196.png 845146282.197.png 845146282.198.png 845146282.200.png 845146282.201.png 845146282.202.png 845146282.203.png 845146282.204.png 845146282.205.png 845146282.206.png 845146282.207.png 845146282.208.png 845146282.209.png 845146282.211.png 845146282.212.png 845146282.213.png 845146282.214.png 845146282.215.png 845146282.216.png 845146282.217.png 845146282.218.png 845146282.219.png 845146282.220.png 845146282.222.png 845146282.223.png 845146282.224.png 845146282.225.png 845146282.226.png 845146282.227.png 845146282.228.png 845146282.229.png 845146282.230.png 845146282.231.png 845146282.233.png 845146282.234.png 845146282.235.png 845146282.236.png 845146282.237.png 845146282.238.png 845146282.239.png 845146282.240.png 845146282.241.png 845146282.242.png 845146282.244.png 845146282.245.png 845146282.246.png 845146282.247.png 845146282.248.png 845146282.249.png 845146282.250.png 845146282.251.png 845146282.252.png 845146282.253.png 845146282.255.png 845146282.256.png 845146282.257.png 845146282.258.png 845146282.259.png 845146282.260.png 845146282.261.png 845146282.262.png 845146282.263.png 845146282.264.png 845146282.266.png 845146282.267.png 845146282.268.png 845146282.269.png 845146282.270.png 845146282.271.png 845146282.272.png 845146282.273.png 845146282.274.png 845146282.275.png 845146282.277.png 845146282.278.png 845146282.279.png 845146282.280.png 845146282.281.png 845146282.282.png 845146282.283.png 845146282.284.png 845146282.285.png 845146282.286.png 845146282.288.png 845146282.289.png 845146282.290.png 845146282.291.png 845146282.292.png 845146282.293.png 845146282.294.png 845146282.295.png 845146282.296.png 845146282.297.png 845146282.299.png 845146282.300.png 845146282.301.png 845146282.302.png 845146282.303.png 845146282.304.png 845146282.305.png 845146282.306.png 845146282.307.png 845146282.308.png 845146282.310.png 845146282.311.png 845146282.312.png 845146282.313.png 845146282.314.png 845146282.315.png 845146282.316.png 845146282.317.png 845146282.318.png 845146282.319.png 845146282.321.png 845146282.322.png 845146282.323.png 845146282.324.png 845146282.325.png 845146282.326.png 845146282.327.png 845146282.328.png 845146282.329.png 845146282.330.png 845146282.332.png 845146282.333.png 845146282.334.png 845146282.335.png 845146282.336.png 845146282.337.png 845146282.338.png 845146282.339.png 845146282.340.png 845146282.341.png 845146282.343.png 845146282.344.png 845146282.345.png 845146282.346.png 845146282.347.png 845146282.348.png 845146282.349.png 845146282.350.png 845146282.351.png 845146282.352.png 845146282.354.png 845146282.355.png 845146282.356.png 845146282.357.png 845146282.358.png 845146282.359.png 845146282.360.png 845146282.361.png 845146282.362.png 845146282.363.png 845146282.365.png 845146282.366.png 845146282.367.png 845146282.368.png 845146282.369.png 845146282.370.png 845146282.371.png 845146282.372.png 845146282.373.png 845146282.374.png 845146282.376.png 845146282.377.png 845146282.378.png 845146282.379.png 845146282.380.png 845146282.381.png 845146282.382.png 845146282.383.png 845146282.384.png 845146282.385.png 845146282.387.png 845146282.388.png 845146282.389.png 845146282.390.png 845146282.391.png 845146282.392.png 845146282.393.png 845146282.394.png 845146282.395.png 845146282.396.png 845146282.398.png 845146282.399.png 845146282.400.png 845146282.401.png 845146282.402.png 845146282.403.png 845146282.404.png 845146282.405.png 845146282.406.png 845146282.407.png 845146282.409.png 845146282.410.png 845146282.411.png 845146282.412.png 845146282.413.png 845146282.414.png 845146282.415.png 845146282.416.png 845146282.417.png 845146282.418.png 845146282.420.png 845146282.421.png 845146282.422.png 845146282.423.png 845146282.424.png 845146282.425.png 845146282.426.png 845146282.427.png 845146282.428.png 845146282.429.png 845146282.431.png 845146282.432.png 845146282.433.png 845146282.434.png 845146282.435.png 845146282.436.png 845146282.437.png 845146282.438.png 845146282.439.png 845146282.440.png 845146282.442.png 845146282.443.png 845146282.444.png 845146282.445.png 845146282.446.png 845146282.447.png 845146282.448.png 845146282.449.png 845146282.450.png 845146282.451.png 845146282.453.png 845146282.454.png 845146282.455.png 845146282.456.png 845146282.457.png 845146282.458.png 845146282.459.png 845146282.460.png 845146282.461.png 845146282.462.png 845146282.464.png 845146282.465.png 845146282.466.png 845146282.467.png 845146282.468.png 845146282.469.png 845146282.470.png 845146282.471.png 845146282.472.png 845146282.473.png 845146282.475.png 845146282.476.png 845146282.477.png 845146282.478.png 845146282.479.png 845146282.480.png 845146282.481.png 845146282.482.png 845146282.483.png 845146282.484.png 845146282.486.png 845146282.487.png 845146282.488.png 845146282.489.png 845146282.490.png 845146282.491.png 845146282.492.png 845146282.493.png 845146282.494.png 845146282.495.png 845146282.497.png 845146282.498.png 845146282.499.png 845146282.500.png 845146282.501.png 845146282.502.png 845146282.503.png 845146282.504.png 845146282.505.png 845146282.506.png 845146282.508.png 845146282.509.png 845146282.510.png 845146282.511.png 845146282.512.png 845146282.513.png 845146282.514.png 845146282.515.png 845146282.516.png 845146282.517.png 845146282.519.png 845146282.520.png 845146282.521.png 845146282.522.png 845146282.523.png 845146282.524.png 845146282.525.png 845146282.526.png 845146282.527.png 845146282.528.png 845146282.530.png 845146282.531.png 845146282.532.png 845146282.533.png 845146282.534.png 845146282.535.png 845146282.536.png 845146282.537.png 845146282.538.png 845146282.539.png 845146282.541.png 845146282.542.png 845146282.543.png 845146282.544.png 845146282.545.png 845146282.546.png 845146282.547.png 845146282.548.png 845146282.549.png 845146282.550.png 845146282.553.png 845146282.554.png 845146282.555.png 845146282.556.png 845146282.557.png 845146282.558.png 845146282.559.png 845146282.560.png 845146282.561.png 845146282.562.png 845146282.564.png 845146282.565.png 845146282.566.png 845146282.567.png 845146282.568.png 845146282.569.png 845146282.570.png 845146282.571.png 845146282.572.png 845146282.573.png 845146282.575.png 845146282.576.png 845146282.577.png 845146282.578.png 845146282.579.png 845146282.580.png 845146282.581.png 845146282.582.png 845146282.583.png 845146282.584.png 845146282.586.png 845146282.587.png 845146282.588.png 845146282.589.png 845146282.590.png 845146282.591.png 845146282.592.png 845146282.593.png 845146282.594.png 845146282.595.png 845146282.597.png 845146282.598.png 845146282.599.png 845146282.600.png 845146282.601.png 845146282.602.png 845146282.603.png 845146282.604.png 845146282.605.png 845146282.606.png 845146282.608.png 845146282.609.png 845146282.610.png 845146282.611.png 845146282.612.png 845146282.613.png 845146282.614.png 845146282.615.png 845146282.616.png 845146282.617.png 845146282.619.png 845146282.620.png 845146282.621.png 845146282.622.png 845146282.623.png 845146282.624.png 845146282.625.png 845146282.626.png 845146282.627.png 845146282.628.png 845146282.630.png 845146282.631.png 845146282.632.png 845146282.633.png 845146282.634.png 845146282.635.png 845146282.636.png 845146282.637.png 845146282.638.png 845146282.639.png 845146282.641.png 845146282.642.png 845146282.643.png 845146282.644.png 845146282.645.png 845146282.646.png 845146282.647.png 845146282.648.png 845146282.649.png 845146282.650.png 845146282.652.png 845146282.653.png 845146282.654.png 845146282.655.png 845146282.656.png 845146282.657.png 845146282.658.png 845146282.659.png 845146282.660.png 845146282.661.png 845146282.664.png 845146282.665.png 845146282.666.png 845146282.667.png 845146282.668.png 845146282.669.png 845146282.670.png 845146282.671.png 845146282.672.png 845146282.673.png 845146282.675.png 845146282.676.png 845146282.677.png 845146282.678.png 845146282.679.png 845146282.680.png 845146282.681.png 845146282.682.png 845146282.683.png 845146282.684.png 845146282.686.png 845146282.687.png 845146282.688.png 845146282.689.png 845146282.690.png 845146282.691.png 845146282.692.png 845146282.693.png 845146282.694.png 845146282.695.png
Elementy terminologiczne
Troche uwag:
Cluster Analysis Analiza skupień, Grupowanie.
Numerical taxonomy Metody taksonomiczne (ekonomia)
Uwaga: znaczenie taksonomii w biologii możemieć inny
kontest (podział systematyczny oparty o taksony).
•Cluste Skupienie, skupisko, grupa/klasa/pojęcie
Nigdy nie mów: klaster, klastering, klastrowanie!
© Stefanowski 2009
845146282.697.png
Polski elementy w rozwoju analizy skupień
Jan Czekanowski (1882-1965) - wybitny polski
antropolog, etnograf, demograf i statystyk, profesor
Uniwersytetu Lwowskiego (1913 – 1941) oraz
Uniwersytetu Poznańskiego (1946 – 1960).
Nowe odległości i metody przetwarzania macierzy odległości w
algorytmach, …, tzw. metoda Czekanowskiego.
• Kontynuacja Jerzy Fierich (1900-1965) Kraków
Hugo Steinhaus , (matematycy Lwów i Wrocław)
•Wrocławska szkoła taksonomiczna (metoda dendrytowa)
Zdzisław Hellwig (Wrocław)
wielowymiarowa analizą porównawcza, i inne …
Współcześnie …
„ Sekcja Klasyfikacji i Analizy Danych” (SKAD) Polskiego Towarzystwa
Statystycznego
© Stefanowski 2009
845146282.698.png
Referencje do literatury (przykładowe)
Koronacki J. Statystyczne systemy uczące się, WNT
2005.
Pociecha J., Podolec B., Sokołowski A., Zając K. „Metody
taksonomiczne w badaniach społeczno-ekonomicznych”.
PWN, Warszawa 1988,
•S ąpor K. „Automatyczna klasyfikacja obiektów”
Akademicka Oficyna Wydawnicza EXIT, Warszawa 2005.
Hand, Mannila, Smyth, „Eksploracja danych”, WNT 2005.
Larose D: „Odkrywania wiedzy z danych”, PWN 2006.
Kucharczyk J. „Algorytmy analizy skupień w języku
ALGOL 60” PWN Warszawa, 1982,
Materiały szkoleniowe firmy Statsoft.
© Stefanowski 2009
845146282.699.png
Przykłady zastosowań analizy skupień
Zastosowania ekonomiczne:
Identyfikacja grup klientów bankowych (np. właścicieli kart
kredytowych wg. sposobu wykorzystania kart oraz stylu życia,
danych osobowych, demograficznych) cele marketingowe.
Systemy rekomendacji produktów i usług.
Rynek usług ubezpieczeniowych (podobne grupy klientów).
Analiza sieci sprzedaży (np. czy punkty sprzedaży podobne
pod względem społecznego sąsiedztwa liczby personelu, itp.,
przynoszą podobne obroty).
Poszukiwanie wspólnych rynków dla produktów.
Planowanie, np. nieruchomości.
Badania naukowe (biologia, medycyna, nauki społeczne).
Analiza zachowań użytkowników serwisów WWW.
Rozpoznawanie obrazów, dźwięku
Wiele innych
© Stefanowski 2009
845146282.700.png
Zgłoś jeśli naruszono regulamin