|
轉(zhuǎn)自：數(shù)據(jù)管道 作者：言淦，一枚喜歡淦代碼的碼農(nóng)，'言淦說'主理人 背景其實一開始用的是pymysql，但是發(fā)現(xiàn)維護比較麻煩，還存在代碼注入的風(fēng)險，所以就干脆直接用ORM框架。 ORM即Object Relational Mapper，可以簡單理解為數(shù)據(jù)庫表和Python類之間的映射，通過操作Python類，可以間接操作數(shù)據(jù)庫。 Python的ORM框架比較出名的是SQLAlchemy和Peewee，這里不做比較，只是單純講解個人對SQLAlchemy的一些使用，希望能給各位朋友帶來幫助。 sqlalchemy版本: 1.3.15 pymysql版本: 0.9.3 mysql版本: 5.7
初始化工作一般使用ORM框架，都會有一些初始化工作，比如數(shù)據(jù)庫連接，定義基礎(chǔ)映射等。 以MySQL為例，創(chuàng)建數(shù)據(jù)庫連接只需要傳入DSN字符串即可。其中echo表示是否輸出對應(yīng)的sql語句，對調(diào)試比較有幫助。 from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://$user:$password@$host:$port/$db?charset=utf8mb4', echo=True)
個人設(shè)計對于我個人而言，引進ORM框架時，我的項目會參考MVC模式做以下設(shè)計。其中model存儲的是一些數(shù)據(jù)庫模型，即數(shù)據(jù)庫表映射的Python類；model_op存儲的是每個模型對應(yīng)的操作，即增刪查改；調(diào)用方（如main.py）執(zhí)行數(shù)據(jù)庫操作時，只需要調(diào)用model_op層，并不用關(guān)心model層，從而實現(xiàn)解耦。 ├── main.py
├── model
│ ├── __init__.py
│ ├── base_model.py
│ ├── ddl.sql
│ └── py_orm_model.py
└── model_op
├── __init__.py
└── py_orm_model_op.py
映射聲明(Model介紹)舉個栗子，如果我們有這樣一張測試表 create table py_orm (
`id` int(11) NOT AUTO_INCREMENT COMMENT '唯一id',
`name` varchar(255) NOT DEFAULT '' COMMENT '名稱',
`attr` JSON NOT COMMENT '屬性',
`ct` timestamp NOT DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時間',
`ut` timestamp NOT DEFAULT CURRENT_TIMESTAMP ON update CURRENT_TIMESTAMP COMMENT '更新時間',
PRIMARY KEY(`id`)
)ENGINE=InnoDB COMMENT '測試表';
在ORM框架中，映射的結(jié)果就是下文這個Python類 # py_orm_model.py
from .base_model import Base
from sqlalchemy import Column, Integer, String, TIMESTAMP, text, JSON
class PyOrmModel(Base):__tablename__ = 'py_orm'
id = Column(Integer, autoincrement=True, primary_key=True, comment='唯一id')
name = Column(String(255), able=False, default='', comment='名稱')
attr = Column(JSON, able=False, comment='屬性')
ct = Column(TIMESTAMP, able=False, server_default=text('CURRENT_TIMESTAMP'), comment='創(chuàng)建時間')
ut = Column(TIMESTAMP, able=False, server_default=text('CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP'), comment='更新時間')
首先，我們可以看到PyOrmModel繼承了Base類，該類是sqlalchemy提供的一個基類，會對我們聲明的Python類做一些檢查，我將其放在base_model中。 # base_model.py
# 一般base_model做的都是一些初始化的工作from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
Base = declarative_baseengine = create_engine('mysql+pymysql://root:123456@127.0.0.1:33306/orm_test?charset=utf8mb4', echo=False)
其次，每個Python類都必須包含__tablename__屬性，不然無法找到對應(yīng)的表。 第三，關(guān)于數(shù)據(jù)表的創(chuàng)建有兩種方式，第一種當(dāng)然是手動在MySQL中創(chuàng)建，只要你的Python類定義沒有問題，就可以正常操作；第二種是通過orm框架創(chuàng)建，比如下面 # main.py
# 注意這里的導(dǎo)入路徑，Base創(chuàng)建表時會尋找繼承它的子類，如果路徑不對，則無法創(chuàng)建成功from sqlachlemy_lab import Base, engine
if __name__ == '__main__':
Base.metadata.create_all(engine)
創(chuàng)建效果： ...
2020-04-04 10:12:53,974 INFO sqlalchemy.engine.base.EngineCREATE TABLE py_orm (id INTEGER NOT AUTO_INCREMENT,name VARCHAR(255) NOT DEFAULT '' COMMENT '名稱',
attr JSON NOT COMMENT '屬性',
ct TIMESTAMP NOT DEFAULT CURRENT_TIMESTAMP,
ut TIMESTAMP NOT DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (id)
)
第四，關(guān)于字段屬性 1.primary_key和autoincrement比較好理解，就是MySQL的主鍵和遞增屬性。 2.如果是int類型，不需要指定長度，而如果是varchar類型，則必須指定。 3.able對應(yīng)的就是MySQL中的 和 NOT 4.關(guān)于default和server_default: default代表的是ORM框架層面的默認值，即插入的時候如果該字段未賦值，則會使用我們定義的默認值；server_default代表的是數(shù)據(jù)庫層面的默認值，即DDL語句中的default關(guān)鍵字。
Session介紹在SQLAlchemy的文檔中提到，數(shù)據(jù)庫的增刪查改是通過session來執(zhí)行的。 >>> from sqlalchemy.orm import sessionmaker
>>> Session = sessionmaker(bind=engine)>>> session = Session>>> orm = PyOrmModel(id=1, name='test', attr={})
>>> session.add(orm)>>> session.commit>>> session.close
如上，我們可以看到，對于每一次操作，我們都需要對session進行獲取，提交和釋放。這樣未免過于冗余和麻煩，所以我們一般會進行一層封裝。 1.采用上下文管理器的方式，處理session的異?；貪L和關(guān)閉，這部分與所參考的文章是幾乎一致的。 # base_model.py
from contextlib import contextmanager
from sqlalchemy.orm import sessionmaker, scoped_session
def _get_session:'''獲取session'''
return scoped_session(sessionmaker(bind=engine, expire_on_commit=False))
# 在這里對session進行統(tǒng)一管理，包括獲取，提交，回滾和關(guān)閉@contextmanager
def db_session(commit=True):
session = _get_sessiontry:yield session
if commit:session.commitexcept Exception as e:
session.rollbackraise efinally:if session:
session.close
2.在PyOrmModel中增加兩個方法，用于model和dict之間的轉(zhuǎn)換 class PyOrmModel(Base):
...@staticmethod
def fields:
return ['id', 'name', 'attr']
@staticmethod
def to_json(model):
fields = PyOrmModel.fieldsjson_data = {}for field in fields:
json_data[field] = model.__getattribute__(field)return json_data
@staticmethod
def from_json(data: dict):
fields = PyOrmModel.fieldsmodel = PyOrmModelfor field in fields:
if field in data:
model.__setattr__(field, data[field])
return model
3.數(shù)據(jù)庫操作的封裝，與參考的文章不同，我是直接調(diào)用了session，從而使調(diào)用方不需要關(guān)注model層，減少耦合。 # py_orm_model_op.py
from sqlachlemy_lab.model import db_session
from sqlachlemy_lab.model import PyOrmModel
class PyOrmModelOp:def __init__(self):pass
@staticmethod
def save_data(data: dict):
with db_session as session:
model = PyOrmModel.from_json(data)
session.add(model)# 查詢操作，不需要commit
@staticmethod
def query_data(pid: int):data_list = with db_session(commit=False) as session:
data = session.query(PyOrmModel).filter(PyOrmModel.id == pid)
for d in data:
data_list.append(PyOrmModel.to_json(d))return data_list
4.調(diào)用方 # main.py
from sqlachlemy_lab.model_op import PyOrmModelOp
if __name__ == '__main__':
PyOrmModelOp.save_data({'id': 1, 'name': 'test', 'attr': {}})
完整代碼請參見： https://github.com/yangancode/python_lab/tree/master/sqlachlemy_lab
|
