Skip to main content

Infraestrutura dbutils python de umaequipe de Ciência de Dados

项目描述

gmpyinfr_dbutils

Módulo de funções e métodos úteis de banco de dados para o dia-a-dia de umaequipe de Ciência de Dados。

安装

Não há cobertura para utilização no Windows。Este pacote eo passo-a-passo de instalação tem funcionamento garantido nas seguintes distros:

Debian

  • 8(杰西)
  • 9(拉伸)
  • 10(破坏者)

Ubuntu

  • 20.04(焦点)
  • 19.04(迪斯科)
  • 18.04 (仿生)
  • 16.04 (xenial)
  • 14.04(可靠)

Demais distribuições linux devem funcionar sem problemas mas têm comandos e processo de instalação diferentes。Caso este seja o seu caso, por赞成 verifique a documentação do turbodbc, Microsoft SQL Server, PostgreSQLe Apache Arrow.

Dos tópicos de instalação abaixo, é obrigatório que os passos de C++ Packages para Debian/GNU Linux, Ubuntu e CentOS sejam seguidos à risca。Os demais tópicos ( Microsoft SQL Server 驱动程序PostgreSQL 驱动程序) serão instalados 符合 sua necessidade de acesso。Em caso de sistemas que irão acessar apenas tabelas no SQL Server, não é necessário instalar o PostgreSQL, e 反之亦然。Para instalação na máquina dos cientistas, é recomendada que a instalação descrita nos dois tópicos seja realizada。

C++ 软件包 para Debian/GNU Linux, Ubuntu e CentOS (obrigatório)

执行 os comandos abaixo, na ordem fornecida, para instalação das bibliotecas C++ do Apache Arrow, sources de desenvolvimento Python e Unix ODBC。

sudo apt update
sudo apt install -y ca-certificates lsb-release wget libboost-all-dev unixodbc-dev python-dev unixodbc

wget https://apache.bintray.com/arrow/$(lsb_release --id --short | tr 'A-Z' 'a-z')/apache-arrow-archive-keyring-latest-$(lsb_release --codename --short).deb

sudo apt install -y ./apache-arrow-archive-keyring-latest-$(lsb_release --codename --short).deb
sudo apt update 
sudo apt install -y libarrow-dev libarrow-dataset-dev libarrow-python-dev

Microsoft SQL Server 驱动程序(可选)

Apenas após a finalização com sucesso dos passos acima,执行 os seguintes comandos。Para mais detalhes específicos da sua distro e passo a passo mais detalhado, visite a página oficial da Microsoft .

sudo apt update
sudo apt install -y apt-transport-https curl gnupg2

sudo su

version=$(lsb_release -d --short | sed "s@GNU/Linux@@" | tr 'A-Z' 'a-z' | grep -Po '([a-z]+\ *[0-9]+(?:\.[0-9]+)?)' | sed -E "s@\s+@ @" | tr ' ' '/')
regex="([a-z]+)/([0-9]+[.0-9]*)"
version=$(if [[ $version =~ $regex ]]; then if [ "${BASH_REMATCH[1]}" == "debian" ]; then echo "$version" | grep -Po '([a-z]+/[0-9]+)'; else echo "$version"; fi; fi)

curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/$version/prod.list > /etc/apt/sources.list.d/mssql-release.list

exit

sudo apt update
sudo ACCEPT_EULA=Y apt -y install msodbcsql17

PostgreSQL 驱动程序(可选)

一个 instalação dos 驱动程序执行 PostgreSQL é um pouco mais simples, embora alguns erros possam ocorrer。Siga o passo-a-passo abaixo para instalação dos 驱动程序:

sudo apt update
sudo apt install -y odbc-postgresql libpq-dev

故障排除

Em algumas situações, durante a utilização, este tipo de erro pode ocorrer:

[unixODBC][Driver Manager]Can't open lib 'psqlodbcw.so' : file not found (0) (SQLDriverConnect)

Favor verifique o conteúdo do arquivo odbcinst.inique pode ser encontrado normalmente em /etc/odbcinst.iniou em $HOME/.odbcinst.ini。Caso neste arquivo a linha que indica o local do driver esteja preenchida sem o fullpath faça a correção inserindo o caminho completo da lib。

Instalação do pacote

Após a instalação das dependências acima, pode-se instalar o pacote através do pip, pelo comando

pip install gmpyinfr-dbutils

Há um projeto mantido no PyPi para facilitar o acesso ao pacote。Pode-se visualizar através deste link

Se precepte instalar a partir do source (este repositório), deve-se criar as wheel e instalar a partir do pip através do seguinte comando:

python setup.py bdist_wheel
pip install dist/*.whl  # instalação no env atual
rm -rf build/ gmpyinfr_dbutils.egg-info/ dist/  # remover diretórios e conteúdos do build

项目详情


下载文件

下载适用于您平台的文件。如果您不确定要选择哪个,请了解有关安装包的更多信息。

源分布

gmpyinfr_dbutils-0.0.7.ta​​r.gz (18.7 kB 查看哈希

已上传 source

内置分布

gmpyinfr_dbutils-0.0.7-py3-none-any.whl (19.6 kB 查看哈希

已上传 py3