您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

在Hadoop中使用Apache Airflow配置MySql时遇到的问题

在Hadoop中使用Apache Airflow配置MySql时遇到的问题

请按照以下步骤使用Anaconda3将Apache Airflow与MysqL一起安装

安装先决条件

yum install gcc gcc-c++ -y
yum install libffi-devel mariadb-devel cyrus-sasl-devel -y
dnf install redhat-rpm-config

安装Anaconda3(Python 3.7.6随附)

yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
chmod +x Anaconda3-2020.02-Linux-x86_64.sh 
./Anaconda3-2020.02-Linux-x86_64.sh

确保conda initialize在安装过程中出现提示时执行此操作。这将确保在后续步骤中使用正确版本的python和pip。

安装Apache Airflow

pip install apache-airflow[MysqL,celery]

您可以根据需要添加其他子包。我只包含了Airflow使用MysqL数据库作为后端所需的内容

初始化气流

export AIRFLOW_HOME=~/airflow
airflow initdb

从这里开始,我模仿了您配置MysqL Server所遵循的步骤

安装MysqL服务器

rpm -Uvh https://repo.MysqL.com/MysqL80-community-release-el7-3.noarch.rpm 
sed -i 's/enabled=1/enabled=0/' /etc/yum.repos.d/MysqL-community.repo 
yum --enablerepo=MysqL80-community install MysqL-server 
systemctl start MysqLd.service

登录MysqL并为Airflow配置数据库

MysqL> CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci; 
MysqL> CREATE user 'airflow'@'localhost' identified by 'Airflow123'; 
MysqL> GRANT ALL privileges on *.* to 'airflow'@'localhost';

更新Airflow配置文件(?/ airflow / airflow.cfg)

sql_alchemy_conn = MysqL://airflow:Airflow123@localhost:3306/airflow
executor = CeleryExecutor

初始化气流

airflow initdb
MySQL 2022/1/1 18:17:12 有579人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶