索引，挑選和過濾

Series索引和整數(shù)索引

Series索引( obj[...] )的工作原理類似與NumPy索引，除了可以使用Series的索引值，也可以僅使用整數(shù)索引。

In [102]: obj = Series(np.arange(4.), index=['a', 'b', 'c', 'd'])
In [103]: obj['b']     In [104]: obj[1]
Out[103]: 1.0          Out[104]: 1.0
In [105]: obj[2:4]     In [106]: obj[['b', 'a', 'd']]
Out[105]:              Out[106]:
c   2                  b    1
d   3                  a    0
d   3

In [107]: obj[[1, 3]]      In [108]: obj[obj < 2]
b   1                      a    0
d   3                      b    1

整數(shù)索引
操作由整數(shù)索引的pandas對象跟內(nèi)置的Python數(shù)據(jù)結(jié)構(gòu) (如列表和元組)在索引語義上有些不同。
例如，你可能認(rèn)為下面這段代碼不會產(chǎn)生一個(gè)錯(cuò)誤：
ser = pd.Series(np.arange(3.))
ser
Out[11]:
0    0.0
1    1.0
2    2.0
dtype: float64
ser[-1]
這里，有一個(gè)含有0,1,2的索引，很難推斷出用戶想要什么(基于標(biāo)簽或位置的索引);相反，一個(gè)非整數(shù)索引，就沒有這樣的歧義：
>>>ser2 = pd.Series(np.arange(3.), index=['a', 'b', 'c'])
>>>ser2[-1]
2.0
為了保持良好的一致性，如果軸索引含有索引器，那么根據(jù)整數(shù)進(jìn)行數(shù)據(jù)選取的操作將總是面向標(biāo)簽的。這也包括用ix進(jìn)行切片：
ser.ix[:1]
Out[15]:
0    0.0
1    1.0
dtype: float64

Series的iget_ value 方法、DataFrame 的 irow 和 icol 方法

如果你需要可靠的、不考慮索引類型的、基于位置的索引，可以使用Series的iget_ value 方法和 DataFrame 的 irow 和 icol 方法：
>>> ser3 = pd.Series(range(3), index=[-5, 1, 3])
>>> ser3.iget_value(2)
2
>>> frame = pd.DataFrame(np.arange(6).reshape(3, 2), index=[2,0,1])
frame
Out[21]:
   0  1
2  0  1
0  2  3
1  4  5
>>> frame.irow(0)
0    0
1    1
Name: 2, dtype: int32

標(biāo)簽切片

使用標(biāo)簽來切片和正常的Python切片并不一樣，它會把結(jié)束點(diǎn)也包括在內(nèi)：

In [109]: obj['b':'c']
b   1
c   2

索引賦值

使用這些函數(shù)來賦值

In [110]: obj['b':'c'] = 5
In [111]: obj
a   0
b   5
c   5
d   3

通過切片或一個(gè)布爾數(shù)組來選擇行，這旨在在這種情況下使得DataFrame的語法更像一個(gè)ndarry。

In [116]: data[:2]             In [117]: data[data['three'] > 5]
         one two three four             one two three four
Ohio       0   1     2    3    Colorado   4   5     6    7
Colorado   4   5     6    7    Utah       8   9    10   11
                               New York  12  13    14   15

DataFrame行標(biāo)簽索引 ix

DataFrame可以在行上進(jìn)行標(biāo)簽索引，使你可以從DataFrame選擇一個(gè)行和列的子集，使用像NumPy的記法再加上軸標(biāo)簽。這也是一種不是很冗長的重新索引的方法：

因此，有很多方法來選擇和重排包含在pandas對象中的數(shù)據(jù)。

DataFrame方法的簡短概要

還有分層索引及一些額外的選項(xiàng)。

Note:在設(shè)計(jì)pandas時(shí)，我覺得不得不敲下 frame[:, col] 來選擇一列，是非常冗余的（且易出錯(cuò)的），因此列選擇是最常見的操作之一。因此，我做了這個(gè)設(shè)計(jì)權(quán)衡，把所有的富標(biāo)簽索引引入到ix 。

[Different Choices for Indexing]

唯一值、值計(jì)數(shù)以及成員資格

唯一值、值計(jì)數(shù)、成員資格方法

方法                          說明
isin                 計(jì)算一個(gè)表示“Series各值是否包含于傳入的值序列中”的布爾型數(shù)組
unique            計(jì)算Series中的唯一值數(shù)組，按發(fā)現(xiàn)的順序返回
value_counts    返回一個(gè)Series,其索引為唯一值，其值為頻率，按計(jì)數(shù)值降序排列
這類方法可以從一維Series的值中抽取信息。

isin

用于判斷矢量化集合的成員資格，可用于選取Series中或DataFrame列中 數(shù)據(jù)的子集：
>>> obj
0    c
1    a
2    d
3    a
4    a
5    b
6    b
7    c
8    c
dtype: object
>>>mask=obj.isin(['b','c'])
>>> mask
0     True...
8     True
dtype: bool
>>> obj[mask]
0    c
5    b
6    b
7    c
8    c

>>> obj=Series(['c','a','d','a','a','b','b','c','c'])

obj.unique()

# 函數(shù)是unique，它可以得到Series中的唯一值數(shù)組：
>>>uniques = obj.unique()
>>>uniques
array(['c', 'a', 'd', 'b'], dtype=object)
返冋的唯一值是未排序的，如果需要的話，可以對結(jié)果再次進(jìn)行排序(uniques. sort())。

value_counts

用于計(jì)算一個(gè)Series中各值出現(xiàn)的頻率：
>>> obj.value_counts()
c    3
a    3
b    2
d    1
dtype: int64
為了便于査看，結(jié)果Series是按值頻率降序排列的。

查源碼，發(fā)現(xiàn)這個(gè)統(tǒng)計(jì)是通過hashtable實(shí)現(xiàn)的。keys, counts = htable.value_count_scalar64(values, dropna)

統(tǒng)計(jì)數(shù)組或序列所有元素出現(xiàn)次數(shù)pd.value_counts

value_counts還是一個(gè)頂級pandas方法，可用于任何數(shù)組或序列：
>>> pd.value_counts(obj.values, sort=False)
a    3
c    3
b    2
d    1
dtype: int64

返回一個(gè)pandas.series對象，不過你基本可以將它當(dāng)成dict一樣使用。

當(dāng)然也可以減去一些判斷，直接使用pandas.value_counts()調(diào)用的hashtable統(tǒng)計(jì)方法（lz在源碼中看到的）

import pandas.hashtable as htable
values = np.array([1, 2, 3, 5, 1, 3, 3, 2, 3, 5])
values_cnts = dict(zip(*htable.value_count_scalar64(values, dropna=True)))
print(values_cnts)

apply應(yīng)用于DataFrame

有時(shí)，可能希望得到DataFrame中多個(gè)相關(guān)列的一張柱狀圖。例如：
>>>data = pd.DataFrame({'Qu1': [1, 3, 4, 3, 4],'Qu2': [2, 3, 1, 2, 3],'Qu3': [1, 5, 2, 4, 4]})
>>>data

   Qu1  Qu2  Qu3
0    1    2    1
1    3    3    5
2    4    1    2
3    3    2    4
4    4    3    4

將 pandas.value_counts 傳給該 DataFrame 的 apply 函數(shù):
In[25]: data.apply(pd.value_counts).fillna(0)
   Qu1  Qu2  Qu3
1  1.0  1.0  1.0
2  0.0  2.0  1.0
3  2.0  2.0  0.0
4  2.0  0.0  2.0
5  0.0  0.0  1.0

皮皮blog

索引對象obj.index

pandas的索引對象用來保存坐標(biāo)軸標(biāo)簽和其它元數(shù)據(jù)（如坐標(biāo)軸名或名稱）。構(gòu)建一個(gè)Series或DataFrame時(shí)任何數(shù)組或其它序列標(biāo)簽在內(nèi)部轉(zhuǎn)化為索引：

In [68]: obj = Series(range(3), index=['a', 'b', 'c'])
In [69]: index = obj.index
In [70]: index
Out[70]: Index([a, b, c], dtype=object)
In [71]: index[1:]
Out[71]: Index([b, c], dtype=object)

不可變性

索引對象是不可變的，因此不能由用戶改變：

In [72]: index[1] = 'd'
Exception Traceback (most recent call last)...
Exception: <class 'pandas.core.index.Index'> object is immutable

索引對象的不可變性非常重要，這樣它可以在數(shù)據(jù)結(jié)構(gòu)中結(jié)構(gòu)中安全的共享：

In [73]: index = pd.Index(np.arange(3))
In [74]: obj2 = Series([1.5, -2.5, 0], index=index)
In [75]: obj2.index is index
Out[75]: True

pandas中的主要索引對象

表格 是庫中內(nèi)建的索引類清單。通過一些開發(fā)努力，索引可以被子類化，來實(shí)現(xiàn)特定坐標(biāo)軸索引功能。多數(shù)用戶不必要知道許多索引對象的知識，但是它們?nèi)匀皇莗andas數(shù)據(jù)模型的重要部分。

固定大小集合功能

除了類似于陣列，索引也有類似固定大小集合一樣的功能

In [76]: frame3
state Nevada Ohio
year
2000     NaN  1.5
2001     2.4  1.7
2002     2.9  3.6

In [77]: 'Ohio' in frame3.columns
Out[77]: True
In [78]: 2003 in frame3.index
Out[78]: False

索引方法和屬性

每個(gè)索引都有許多關(guān)于集合邏輯的方法和屬性，且能夠解決它所包含的數(shù)據(jù)的常見問題。

重建索引reindex

pandas對象的一個(gè)關(guān)鍵的方法是 reindex ，意味著使數(shù)據(jù)符合一個(gè)新的索引來構(gòu)造一個(gè)新的對象。

reindex更多的不是修改pandas對象的索引，而只是修改索引的順序，如果修改的索引不存在就會使用默認(rèn)的None代替此行。且不會修改原數(shù)組，要修改需要使用賦值語句。

In [79]: obj = Series([4.5, 7.2, -5.3, 3.6], index=['d', 'b', 'a', 'c'])
In [80]: obj
d  4.5
b  7.2
a -5.3
c  3.6

reindex 重排數(shù)據(jù)（行索引）

在Series上調(diào)用 reindex 重排數(shù)據(jù)，使得它符合新的索引，如果那個(gè)索引的值不存在就引入缺失數(shù)據(jù)值：

In [81]: obj2 = obj.reindex(['a', 'b', 'c', 'd', 'e'])
In [82]: obj2
a -5.3
b 7.2
c 3.6
d 4.5
e NaN
In [83]: obj.reindex(['a', 'b', 'c', 'd', 'e'], fill_value=0)
a -5.3
b 7.2
c 3.6
d 4.5
e 0.0

重建索引的內(nèi)插或填充method

為了對時(shí)間序列這樣的數(shù)據(jù)排序，當(dāng)重建索引的時(shí)候可能想要對值進(jìn)行內(nèi)插或填充。 method 選項(xiàng)可以是你做到這一點(diǎn)，使用一個(gè)如ffill 的方法來向前填充值：

In [84]: obj3 = Series(['blue', 'purple', 'yellow'], index=[0, 2, 4])
In [85]: obj3.reindex(range(6), method='ffill')
0   blue
1   blue
2 purple
3 purple
4 yellow
5 yellow

method 選項(xiàng)的清單

對于DataFrame， reindex 可以改變（行）索引，列或兩者。當(dāng)只傳入一個(gè)序列時(shí)，結(jié)果中的行被重新索引了：

In [86]: frame = DataFrame(np.arange(9).reshape((3, 3)), index=['a', 'c', 'd'], columns=['Ohio', 'Texas', 'California'])
In [87]: frame
  Ohio Texas California
a    0     1          2
c    3     4          5
d    6     7          8

列重新索引關(guān)鍵字columns

使用 columns 關(guān)鍵字可以是列重新索引：

In [90]: states = ['Texas', 'Utah', 'California']
In [91]: frame.reindex(columns=states)
   Texas Utah California
a      1  NaN          2
c      4  NaN          5
d      7  NaN          8

DataFrame重命名列columns方法2:

df.rename(columns={'age': 'x', 'fat_percent': 'y'})

行列同時(shí)重新索引2種方式

一次可以對兩個(gè)重新索引，可是插值只在行側(cè)（0坐標(biāo)軸）進(jìn)行：

In [92]: frame.reindex(index=['a', 'b', 'c', 'd'], method='ffill', columns=states)
   Texas Utah California
a      1  NaN          2
b      1  NaN          2
c      4  NaN          5
d      7  NaN          8

正如你將看到的，使用帶標(biāo)簽索引的 ix 可以把重新索引做的更簡單：

In [93]: frame.ix[['a', 'b', 'c', 'd'], states]
  Texas Utah California
a     1  NaN          2
b   NaN  NaN        NaN
c     4  NaN          5
d     7  NaN          8 

SettingWithCopyWarning提示

df.loc[df[len(df.columns) - 1] > 0.0, len(df.columns) - 1] = 1.0

Why .ix is a bad idea

通過.ix選擇的數(shù)據(jù)是一個(gè)copy的數(shù)據(jù)，修改這個(gè)選擇不會修改原數(shù)據(jù)，而.loc是修改原數(shù)據(jù)。

The .ix object tries to do more than one thing, and for anyone who has read anything about clean code, this is a strong smell.

Given this dataframe:

df = pd.DataFrame({"a": [1,2,3,4], "b": [1,1,2,2]})

Two behaviors:

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2

Behavior one: dfcopy is now a stand alone dataframe. Changing it will not change df

df.ix[0, "a"] = 3

Behavior two: This changes the original dataframe.

Use .loc instead

The pandas developers recognized that the .ix object was quite smelly[speculatively] and thus created two new objects which helps in the accession and assignment of data.

.loc is faster, because it does not try to create a copy of the data.

.loc is meant to modify your existing dataframe inplace, which is more memory efficient.

.loc is predictable, it has one behavior.

[Returning a view versus a copy]

皮皮blog

帶有重復(fù)值的軸索引

帶有重復(fù)索引值的Series

>>>obj = Series(range(5), index=['a','a','b','b','c'])
>>>obj
a    0
a    1
b    2
b    3
c    4

索引的is_unique屬性

驗(yàn)證是否是唯一的
>>>obj.index.is_unique
False

帶有重復(fù)值索引的數(shù)據(jù)選取

調(diào)整某條軸上各級別的順序swaplevel

根據(jù)級別匯總統(tǒng)計(jì)

[MultiIndex / Advanced Indexing]

from: http://blog.csdn.net/pipisorry/article/details/18012125

ref: [Indexing and Selecting Data?]*