Python "pandas" kütüphanesine giriş¶
Başlamadan önce size sevgili kızımın pandas (pandalar) yorumunu sunmak istiyorum.
Ben resimde en çok kaydırağa tırmanan pandayı sevdim :)
In [1]:
from IPython.display import Image
Image(filename='pandas_enb.png')
Out[1]:
Pandas Python kullanan her veribilimcinin bilmesi haberi olması gereken bir kütüphane. Resmi [web sayfasında] (https://pandas.pydata.org/pandas-docs/stable/) pandas şu şekilde tanımlanıyor:
"pandas hızlı, esnek ve açıklayıcı veri yapıları sunan bir Python kütüphanesidir. İlişkisel ve işaretlenmiş veri ile sezgisel ve kolay bir şekilde çalışabilmek amacıyla tasarlanmıştır. Python ile gerçek dünyadaki very analizleri için temel bir yapı taşı olmayı hedeflemektedir."
"pandas is a Python package providing fast, flexible, and expressive data structures designed to make working with “relational” or “labeled” data both easy and intuitive. It aims to be the fundamental high-level building block for doing practical, real world data analysis in Python"
Pandas ile birlikte gelen temel iki veri yapısı vardır.
- Series (Seriler)
- DataFrame (Veri çerçeveleri)
Bu çalışmada sizlere "pandas" kullanmaya başlamak için gerekli temeli vermeyi hedefliyorum.
SERIES
In [2]:
# pandas kütüphanesini ekleyelim
# genel olarak pd diye eklemek makbüldrü
import pandas as pd
# İlk Series nesnemizi yaratalım
a_pd_series = pd.Series([1,2,3,4,5,6,7,8,9,10])
# bastıralım
print(a_pd_series)
Gördüğünüz gibi veri tipi otomatik olarak int64 olarak atanmış durumda ve iki adet sütun mevcut. İlk sütuna indeks (index) ve ikinci sütuna da değerler (values) denilmektedir.
- values ve index alanlarını görmek için:
In [3]:
# values
print(a_pd_series.values)
# index
print(a_pd_series.index)
- Serinin veri tipine ulaşmak için
In [4]:
a_pd_series.dtype
Out[4]:
- Indekslere isim verebiliriz
In [5]:
b_pd_series = pd.Series([1,2,3,4,5],index=["bir","iki","üç","dört","beş"])
print(b_pd_series)
- Serinin içindeki elemanlara erişmek için indeksleri köşeli parantez için de yazmamız yeterli
In [6]:
print(a_pd_series[3])
print(b_pd_series["iki"])
- "Dictionary" veri tipini kullanarak bir seri yaratmamız mümkün
In [7]:
c_pd_series = pd.Series({"bir":1,"iki":2})
print(c_pd_series)
- Kesme (slicing) metotlarını seriler üzerinde kullanabiliriz.
In [8]:
print(a_pd_series[3:5]),
print("\n")
print(b_pd_series["iki":"dört"])
- Seri nesneleri karışık veri tiplerine sahip olabilirler.
In [9]:
d_pd_series = pd.Series(["a",3.14,42,True,1j],index=[0,1,2,3,4])
d_pd_series
Out[9]:
DATAFRAME
"Dataframe"ler iki boyutlu matrisler olarak düşünülebilir. Başka bir bakış açısıyla bunu bir excel dosyası olarak da değerlendirmek mümkündür. Satırların indeksi sütunların ise isimleri vardır. "Dataframe" nesneleri aynı indekse sahip seri nesnelerinin yanyana gelmiş hali gibidir.
- "numpy array" kullanarak bir "Dataframe" yaratalım
In [10]:
# numpy kütüphanesini çağıralım
import numpy as np
# Bir "dataframe oluşturalım"
a_pd_df = pd.DataFrame(np.random.random((4,3)), # 4x3 rasgele matris oluşturalım
index = np.arange(4), # indeks isimleri
columns=["A","B","C"]) # sütun isimleri
# gösterelim
a_pd_df
Out[10]:
- Seri nesneleri kullanarak da dataframe yaratabiliriz. Farklı uzunluğa sahip iki seriyi gönderelim ve ne olduğuna bakalım
In [11]:
age_pd_series = pd.Series({"A":33,"B":24,"C":45,"E":18},name="yaş")
weight_pd_series = pd.Series({"A":55,"B":65,"C":75,"D":80},name="kilo") # in kg :)
# birleştirmek için pd concat fonksiyonunu kullanalım
pd.concat([age_pd_series,weight_pd_series],axis=1,sort=True)
Out[11]:
In [12]:
# veya çoğunlukla yaptığımız gibi pd.DataFrame() kullanalım
pd.DataFrame({"yaş":age_pd_series,"kilo":weight_pd_series})
Out[12]:
- İndeksi alalım
In [13]:
a_pd_df.index
Out[13]:
- Sütun isimlerini alalım
In [14]:
a_pd_df.columns
Out[14]:
DataFrame ile birlikte sıklıkla kullanılan fonksiyonlar
- Aşağıdaki egzersizler için uzun bir DataFrame'e ihtiyacımız olacak. Bunu yaratalım öncelikle
In [15]:
long_pd = pd.DataFrame(np.random.random((1000,5)),columns=["A","B","C","D","E"])
- Oluşturduğumuz dataframe'in ilk beş ve son beş satırını görelim
- df.head(): İlk satırlar için önizleme
- df.tail(): Son satırlar için önizleme
In [16]:
long_pd.head()
Out[16]:
In [17]:
long_pd.tail()
Out[17]:
- We can extend the head (or tail) functions as long as we like by simple passing an integer parameter
In [18]:
long_pd.head(10)
Out[18]:
- dataframe'in şeklini bulalım. Burada dikkat edin şekil bir fonksiyon değil özellik
- df.shape
In [19]:
long_pd.shape
Out[19]:
- Verinin tanımına nasıl ulaşabiliriz.
- df.describe() fonksiyonu bize önemli istatistiksel değerler hakkında bilgi verir
In [20]:
long_pd.describe()
Out[20]:
- Dataframe hakkında bilgi almak istersek. Kaç değer var, kaç sütun var, tipler nedir vb...
In [21]:
long_pd.info()
- NaN olmayan değerleri sayalım
In [22]:
long_pd.count()
Out[22]:
- Değerlerin toplamı
In [23]:
long_pd.sum()
Out[23]:
- Temel istatistiksel değerler (Mean, med, max, min)
In [24]:
(long_pd.max() - long_pd.min()) / long_pd.mean() * long_pd.median()
Out[24]:
- Minimum ve maksimum değerin indeksini bulmak istersek
In [25]:
long_pd.idxmax()
Out[25]:
- df.groupy()
- Çok faydalı bir fonksiyondur. Bir sütunu gruplayıp üzerinde bir operasyon yaptıktan sonra özet tablo oluşturabilirsiniz.
In [26]:
# Örnek bir dataframe oluşturalım
inp = {"isim":["Ali","Ayşe","Ahmet","Burcu","Cansu","Ramiz"],"cinsiyet":["E","K","K","E","E","E"],"boy":[180,160,150,170,200,190],"kilo":[80,55,60,50,110,90],"yaş":[15,40,72,65,20,27]}
df_example = pd.DataFrame(inp)
df_example
Out[26]:
In [27]:
# Cinsiyet üzerinden gruplandırıp ortalamasını bulalım
df_example.groupby("cinsiyet").mean()
Out[27]:
In [28]:
# Hangi sütunların gruplandırılacağını da seçebilirsiniz.
# Burada "max" kullanalım değişiklik olsun
df_example.groupby("cinsiyet")[["boy","yaş"]].max()
Out[28]:
- Pivot tablosu oluşturalım
- Pivot tablosu aşağıdaki gibi tanımlanmaktadır:
Bir pivot tablosu bir başka tablodaki veriyi sıralama, ortalama alma ve toplama gibi işlemlerle özetler.
A pivot table is a table that summarizes data from another table, and is made by applying an operation such as sorting, averaging, or summing to data in the first table, typically including grouping of the data (from Wikipedia)
- Pivot tablosu aşağıdaki gibi tanımlanmaktadır:
In [29]:
# Maksimum değerleri görelim
df_example.pivot_table(index=["cinsiyet","yaş"],aggfunc="mean")
Out[29]:
Dataframe üzerinde "custom" fonksion kullanımı
In [30]:
age_pd_series = pd.Series({"A":33,"B":24,"C":45,"E":18},name="yaş")
weight_pd_series = pd.Series({"A":55,"B":65,"C":75,"D":80},name="kilo") # in kg :)
custom_df = pd.concat([age_pd_series,weight_pd_series],axis=1,sort=True)
custom_df
Out[30]:
In [31]:
# Her sütun için max-min aralığını bulalım
custom_df.apply(lambda x:x.max()-x.min())
Out[31]:
In [32]:
# Her elemanın karesini alalım
custom_df.applymap(lambda x:x**2)
Out[32]:
apply sütunlar veya satırlar üzerinde işlem yapar. applymap elemanlar üzerinde işlem yapar.
DataFrame için dosya okuma
- CSV dosyası okuma
In [33]:
# 2017 dünya mutluluk raporu
whp_2017 = pd.read_csv("world_happiness_report_2017.csv")
whp_2017.head()
Out[33]:
In [34]:
whp_2017.info()
In [35]:
whp_2017.describe()
Out[35]:
- JSON okuma
In [36]:
hs_cards = pd.read_json("hscards.json")
hs_cards.head()
Out[36]:
DataFrame indeksleme
- Bir sütunu seçme
In [37]:
whp_2017["Country"].head() # çıktıyı kısaltmak için head() kullanalım
Out[37]:
In [38]:
# Veya
whp_2017.Country.head()
Out[38]:
- Birden fazla sütun seçme
In [39]:
whp_2017[["Country","Happiness.Score"]].head()
Out[39]:
- Satırları kesme
In [40]:
whp_2017[0:3]
Out[40]:
- Seçim için "loc" kullanımı
- "loc" satırları (veya sütunları) seçmek için indeksteki belirli etiketleri kullanır
In [41]:
whp_2017.loc[[1,2,3],["Country","Happiness.Rank"]]
Out[41]:
- Seçim için "iloc" kullanımı
- "iloc" sütun (veya satırların) indeksteki konumlarını kullanır
In [42]:
whp_2017.iloc[1:3,0:2]
Out[42]:
Yukarıdaki örnekte "loc" fonksiyonun etiket aldığına iloc fonksiyonunun tamsayı aldığına dikkat ediniz
loc ve iloc hakkında daha fazla bilgi almak için aşağıdaki bağlantıya bakmanızı tavsiye ederim. https://stackoverflow.com/questions/31593201/pandas-iloc-vs-ix-vs-loc-explanation-how-are-they-different
DataFrame Operasyonları
- Mantıksal seçim
- Çoklu operasyonlar için &, | operatörleri kullanılmalıdır.
In [43]:
# Mutluluk değeri 5.5 üzeri ve 5.7 altı olan ülkelerin seçimi
whp_2017[ (whp_2017["Happiness.Score"]>5.5) & (whp_2017["Happiness.Score"]<5.7)]
Out[43]:
- Satıraları düşürmek
- Bu operasyon dataframe'i değiştirmez. Eğer dataframe'i değiştirmek istiyorsanız inplace=True kullanın
In [44]:
# İlk iki tane hariç tüm satırları düşürelim
whp_2017.drop(range(2,whp_2017.shape[0]))
Out[44]:
- Sütunları düşürmek
- axis=1 parametresinin eklenmesi gerekir
In [45]:
whp_2017.drop("Country",axis=1).head()
Out[45]:
- Bir sütunu baz alarak sıralamak için
- ascending=False yaparsanız en yüksek değerler en önce görünür
In [46]:
whp_2017.sort_values(by="Economy..GDP.per.Capita.",ascending=False).head()
Out[46]:
- Kullanması en zevkli fonksiyonlardan biri rank()'tir bana göre
- Her elemanın sütundaki pozisyonunu döndürür. Aşağıdaki örnek söylediklerimi daha iyi açıklayacaktır.
In [47]:
whp_2017.rank().head()
Out[47]:
- Eğer iki seriyi toplarsak ne olur?
- Aşağıdaki örnekte göreceğiniz üzere çakışan indekslerdeki veriler toplanır, diğer indeksler için NaN değerleri oluşturulur.
In [48]:
age_pd_series = pd.Series({"A":33,"B":24,"C":45,"E":18},name="yaş")
weight_pd_series = pd.Series({"A":55,"B":65,"C":75,"D":80},name="kilo") # in kg :)
age_pd_series + weight_pd_series
Out[48]:
Pandas ile temel grafik çizimi
Pandas kütüphanesi "matplotlib" tabanlı çizdirme fonksiyonlarına sahiptir. Bunlar için hızlı bir gösterim yapalım
In [49]:
# Varsayılan plot grafiği
whp_2017.Generosity.plot();
In [50]:
# Grafikler için stil ekleyebiliriz
whp_2017.Generosity.plot(style="r.-",title="Generosity");
In [51]:
# Çoklu grafik
whp_2017[["Generosity","Happiness.Score"]].plot(title="Multi Plot Example");
In [52]:
# Alt grafiklerden oluşan çoklu grafik
whp_2017[["Generosity","Happiness.Score"]].plot(subplots=True);
In [53]:
# Histogram
whp_2017[["Generosity","Happiness.Score"]].hist();
In [54]:
# Boxplot'lar
whp_2017[["Generosity","Happiness.Score"]].boxplot();
