MySQL系列-源码编译安装(v8.0.25)

一、前言

生产环境建议使用二进制安装法，其优点是部署简单、快速、方便，并且相对"yum/rpm安装" 方法能更方便地自定义文件存放的目录结构，方便用脚本批量部署，方便日后运维管理。

在生产上很少用到源码编译安装 MySQL, 最主要的原因，就是编译安装太慢了，二进制部署只需要几十秒。并且，源码编译安装容易遇到一些不好解决的编译问题。

那么什么时候需要用到编译安装呢？

当我们需要修改 MySQL 源代码以修复功能、修改功能、新增功能时，当我们想修改 MySQL 默认设定时，当我们需要对 MySQL 做 debug 时，我们就需要用到编译安装。

二、系统环境要求

• CMake：编译工具，用作所有平台上的构建框架。
• MySQL 8.0源代码允许使用C++ 14功能。为了在CentOS系统平台上实现良好的C++ 14支持水平，建议使用GCC10版本。
• 需要SSL库来支持加密连接，用于生成随机数的熵以及其他与加密有关的操作。默认情况下，构建使用主机系统上安装的OpenSSL库。从MySQL 8.0.11到8.0.17，可以使用wolfSSL替代OpenSSL编译MySQL。从MySQL 8.0.18开始，对wolfSSL的支持被删除，所有MySQL构建都使用OpenSSL。
• Boost C++库是构建MySQL所必需的。MySQL编译需要特定的Boost版本。8.0.24版本需要的Boost版本是1.73.0
• 需要ncurses库，一个能提供功能键定义(快捷键),屏幕绘制以及基于文本终端的图形互动功能的动态库。
• 足够的可用内存。若编译时出现“内部编译器错误”之类的问题，则可能是内存太小。如果在虚拟机上编译，请尝试增加内存分配。
• 需要Git版本控制系统来获取开发源代码。

官方说明：
https://dev.mysql.com/doc/refman/8.0/en/source-installation-prerequisites.html

本文中使用本地VM虚机部署测试。

OS：CentOS Linux release 7.8.2003 (Core)

虚机配置：2核CPU、4G内存

关闭Selinux。

三、基础环境

1.清理环境(清理系统自带的Mariadb和boost)

CentOS 7 版本的系统默认自带安装了MariaDB，需要先清理。

## 查询已安装的mariadb

rpm -qa |grep mariadb
或
yum list installed | grep mariadb

## 卸载mariadb包，文件名为上述命令查询出来的文件

rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64
或
yum -y remove mariadb-libs.x86_64

## 检查boost版本，如果有，则卸载boost-*等库

rpm -qa boost*
yum -y remove boost-*

2.基础库及依赖包文件

rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum -y install bison bison-devel bzip2* curl* doxygen flex glibc glibc-devel glib2 glib2-devel git libaio libaio-devel make ncurses ncurses-devel libxml2 libxml2-devel libgcrypt openssl-devel openssl patch perl zlib zlib-devel

3.升级GCC

MySQL8.0编译安装时需要用gcc的版本为 4.8以上。本文中使用gcc 10.2.1，该版本是本人经过一步步测试，结合cmake版本而选择的，关于版本选择可参考本人之前发布的文章《MySQL系列—编译安装8.0版本时gcc及cmake版本说明》，URL地址为：
https://www.toutiao.com/i6964676041524789796/

yum -y install centos-release-scl
yum -y install devtoolset-10-gcc devtoolset-10-gcc-c++ devtoolset-10-binutils
scl enable devtoolset-10 bash

## 需要注意的是使用scl命令激活启用gcc只是临时的，退出当前shell环境或重启系统就会恢复为原来的gcc版本。若要想一直使用升级后的gcc版本，可配置系统环境变量，使用如下命令：

echo "source /opt/rh/devtoolset-10/enable" >> /etc/profile
source /etc/profile

4.安装cmake(编译工具)

cd /data/tools
wget https://cmake.org/files/v3.19/cmake-3.19.8.tar.gz
tar xf cmake-3.19.8.tar.gz
cd cmake-3.19.8
./bootstrap
gmake
make install

5.安装jemalloc(内存管理)

内存分配器，适合多线程下的内存分配管理软件。与其它内存分配器相比，它最大的优势在于多线程情况下的高性能以及内存碎片的减少。

cd /data/tools
wget https://github.com/jemalloc/jemalloc/releases/download/5.2.1/jemalloc-5.2.1.tar.bz2
tar xjf jemalloc-5.2.1.tar.bz2
cd jemalloc-5.2.1
./autogen.sh
make && make install
echo '/usr/local/lib' > /etc/ld.so.conf.d/local.conf
ldconfig

6.安装Boost库(无需最新版本)

官网：https://www.boost.org/

cd /data/tools
wget https://udomain.dl.sourceforge.net/project/boost/boost/1.73.0/boost_1_73_0.tar.gz
tar xf boost_1_73_0.tar.gz
chown -R root.root boost_1_73_0
mv boost_1_73_0 /usr/local/boost173

四、安装配置MySQL

1.添加mysql组及用户

groupadd -r mysql
useradd -g mysql -r -s /sbin/nologin -M -d /data/mysql mysql

2.创建相关目录及修改目录属性

## 数据目录

mkdir -p /data/mysql

## binlog、relay-bin及undo日志目录

mkdir -p /data/mysql_logs/{binlog,relay-bin,undolog}

注：relay-bin日志只有配置了主从才会产生。

## 修改目录属性

chown mysql.mysql /data/mysql
chmod 0700 /data/mysql
chown -R mysql.mysql /data/mysql_logs

3.安装MySQL

cd /data/tools
wget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.25.tar.gz
tar xf mysql-8.0.25.tar.gz
cd mysql-8.0.25

## 隐藏版本号，可选操作，修改版本号文件（本文中不做修改）

vi MYSQL_VERSION 
//将原有版本号值修改为如下值
MYSQL_VERSION_MAJOR=100
MYSQL_VERSION_MINOR=9
MYSQL_VERSION_PATCH=99
MYSQL_VERSION_EXTRA=

## 原内容如下图

## 配置

cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql-8.0.25 \
-DMYSQL_DATADIR=/data/mysql -DSYSCONFDIR=/etc \
-DMYSQL_TCP_PORT=3306 \
-DMYSQL_UNIX_ADDR=/usr/local/mysql-8.0.25/mysql.sock \
-DWITH_EXTRA_CHARSETS=all \
-DDEFAULT_CHARSET=utf8mb4 \
-DDEFAULT_COLLATION=utf8mb4_unicode_ci \
-DENABLED_LOCAL_INFILE=1 \
-DWITH_INNODB_MEMCACHED=ON \
-DWITH_INNOBASE_STORAGE_ENGINE=1 \
-DWITH_MYISAM_STORAGE_ENGINE=1 \
-DWITH_FEDERATED_STORAGE_ENGINE=1 \
-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
-DWITH_ARCHIVE_STORAGE_ENGINE=1 \
-DWITHOUT_EXAMPLE_STORAGE_ENGINE=1 \
-DWITH_PERFSCHEMA_STORAGE_ENGINE=1 \
-DMYSQL_MAINTAINER_MODE=0 \
-DINSTALL_SHAREDIR=share \
-DWITH_ZLIB=bundled \
-DWITH_SSL=system \
-DWITH_DEBUG=0 \
-DDOWNLOAD_BOOST=0 \
-DWITH_BOOST=/usr/local/boost173 \
-DWITH_JEMALLOC="-ljemalloc" \
-DFORCE_INSOURCE_BUILD=1

## 编译安装

make
//make -j 2  指定的是CPU内核数量，加快编译速度（根据实际情况修改）
//注：若make出错后要重新运行配置，只需要删除构建目录，'make clean'或'make distclean'不起作用
make install
cd /usr/local
ln -s mysql-8.0.25 mysql

注：本文中测试服务器配置为2核4G时，使用make -j 2编译时，报如下错误：

原因：加快了编译速度导致内存不够，编译不过来。

五、配置MySQL

1.创建配置文件

vi /etc/my.cnf
//输入以下内容
[client]
port = 3306
socket = /usr/local/mysql/mysql.sock
default-character-set=utf8mb4

[mysqld]
port = 3306
user = mysql
socket = /usr/local/mysql/mysql.sock
basedir = /usr/local/mysql
datadir = /data/mysql
character-set-server = utf8mb4
collation-server = utf8mb4_general_ci
init_connect='SET NAMES utf8mb4'
lower_case_table_names = 1
skip-external-locking
skip-name-resolve
server-id = 1
transaction_isolation = REPEATABLE-READ
explicit_defaults_for_timestamp = true
thread_stack = 512K
external-locking = FALSE
gtid_mode = ON
enforce_gtid_consistency = ON
##最大连接数
max_connections=5000
max_connect_errors = 1000
back_log = 300
##二进制日志
log-bin = /data/mysql_logs/binlog/mysql-bin
binlog_format = ROW
binlog_row_image = FULL
binlog_expire_logs_seconds = 0    ##默认值为2592000秒，即30天
binlog_cache_size=16M
max_binlog_cache_size=1G
max_binlog_size=512M
sync_binlog = 1
##慢日志
slow_query_log = on
slow_query_log_file = /data/mysql_logs/db-slow.log
long_query_time = 1
log_slow_admin_statements = 1
#作为从库时生效
log_slow_slave_statements = 1
log-queries-not-using-indexes=0
log_throttle_queries_not_using_indexes=60
##缓冲区
table_open_cache = 600
table_definition_cache = 700
table_open_cache_instances = 64
max_allowed_packet = 32M
sort_buffer_size = 16M
join_buffer_size = 8M
tmp_table_size = 64M
max_heap_table_size = 64M
##对MyISAM表起作用
key_buffer_size = 128M
read_buffer_size = 8M
read_rnd_buffer_size = 32M
bulk_insert_buffer_size = 64M
thread_cache_size = 16
##主从复制配置
log_slave_updates=1
relay-log-recovery=on
relay-log = /data/mysql_logs/relay-bin/relay-bin
##innodb性能设置
default_storage_engine = InnoDB
innodb_thread_concurrency = 0
innodb_buffer_pool_size = 1G
innodb_buffer_pool_instances = 8
innodb_buffer_pool_load_at_startup = 1
innodb_buffer_pool_dump_at_shutdown = 1
innodb_data_file_path = ibdata1:10M:autoextend
innodb_log_buffer_size = 16M
innodb_log_files_in_group = 3
innodb_log_file_size = 512M
innodb_undo_log_truncate = 1
innodb_max_undo_log_size = 2G
innodb_undo_directory = /data/mysql_logs/undolog/
##CPU多核处理能力设置
innodb_write_io_threads = 4
innodb_read_io_threads = 4
innodb_purge_threads = 2
innodb_page_cleaners = 2
innodb_open_files = 65535
innodb_max_dirty_pages_pct = 50
innodb_lock_wait_timeout = 60
innodb_rollback_on_timeout = 1
innodb_print_all_deadlocks = 1
innodb_autoinc_lock_mode = 1
innodb_file_per_table = on
innodb_flush_log_at_trx_commit = 1
##设置时区
default_time_zone = "+8:00"
##超时时间
interactive_timeout = 3600
wait_timeout = 3600
sql_mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION,NO_AUTO_VALUE_ON_ZERO,PIPES_AS_CONCAT,ANSI_QUOTES
##日志时间设置
log_timestamps = system

[mysqldump]
quick
max_allowed_packet = 64M

[mysql]
no-auto-rehash
default-character-set=utf8mb4

[myisamchk]
key_buffer_size = 64M
sort_buffer_size = 64M
read_buffer = 8M
write_buffer = 8M

[mysqlhotcopy]
interactive-timeout

[mysqld_safe]
log-error = /data/mysql/mysql_err.log
pid-file = /data/mysql/mysqld.pid

注：①上述参数选项配置仅供参考，实际环境中请根据需求修改参数选项。

②my.cnf配置文件中若要指定binlog及relay-bin等日志目录路径不能在datadir目录下，否则初始化时会报如下图的错误信息。因为初始化是datadir目录需为一个空目录。

2.权限设置

cd /usr/local/mysql
chown -R mysql:mysql .

3.初始化数据库

方法一：

/usr/local/mysql/bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql

方法二：

/usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf --initialize-insecure --user=mysql

注：①"--initialize"会生成一个随机密码(~/.mysql_secret)，而"--initialize-insecure"不会生成密码；

②--datadir目标目录下不能有数据文件。

##开启SSL连接，安全性提高了，但是相对地降低了QPS，还是比较影响性能的，谨慎选择！本文档中不开启！

/usr/local/mysql/bin/mysql_ssl_rsa_setup

4.安装MySQL的man帮助文件、头文件及lib库

cd /usr/local/mysql
## 手册页帮助文件
echo "MANPATH /usr/local/mysql/man" >> /etc/man.config
## 头文件
ln -sv /usr/local/mysql/include  /usr/include/mysql
## lib库文件
echo '/usr/local/mysql/lib' > /etc/ld.so.conf.d/mysql.conf
## 加载动态库文件
ldconfig

5.配置MySQL环境变量，方便操作命令的使用

echo '######MySQL' >> /etc/profile
echo 'PATH=$PATH:/usr/local/mysql/bin' >> /etc/profile
source /etc/profile

6.配置MySQL服务管理命令

cd /usr/local/mysql
cp support-files/mysql.server /etc/rc.d/init.d/mysqld

7.启动数据库

/etc/init.d/mysqld start
/usr/local/mysql/bin/mysql --version && echo -e  "\e[31m mysql install is OK\e[0m"

8.验证jemalloc优化MySQL是否生效

lsof -n | grep jemalloc  | grep mysqld

六、配置root账号密码

因初始化时没有设置root密码，所以安装完成后，root账号无密码。

在MySQL 8.0.4前，执行：SET PASSWORD=PASSWORD(‘[新密码]’);但是MySQL8.0.4开始，这样是不行的。因为之前，MySQL的密码认证插件是“mysql_native_password”，而现在使用的是“caching_sha2_password”。可在配置文件my.cnf中使用选项“
default_authentication_plugin = mysql_native_password”修改默认使用的密码插件认证为‘mysql_native_password’。

1.使用caching_sha2_password认证方式

## 设置本机登录密码

mysql -uroot -p
//因初始化数据时没有设置密码，可以按两次确认键进入数据库
use mysql;
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
FLUSH PRIVILEGES; 

## 设置远程登录密码

CREATE USER 'root'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;
FLUSH PRIVILEGES;

2.使用mysql_native_password认证方式

## 设置本机登录密码

mysql -uroot -p
//因初始化数据时没有设置密码，可以按两次确认键进入数据库
use mysql;
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '123456';
FLUSH PRIVILEGES;

## 设置远程登录密码

CREATE USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;
FLUSH PRIVILEGES;

七、测试

1.创建测试数据库

mysql -uroot -p
//输入上述步骤中设置的密码登录数据库
## 创建test库，指定字符集及排序规则
CREATE DATABASE test DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
## 查看
show databases;

2.创建普通用户及授权

mysql -uroot -p
//输入上述步骤中设置的密码登录数据库
## 切换至mysql库
use mysql;
## 创建用户
CREATE USER 'test'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
## 授权
GRANT select,insert,update,delete,create on test.* to 'test'@'%' ;
## 刷新权限
FLUSH PRIVILEGES;
## 查看用户
select user,host from user;
## 查看test用户权限
show GRANTS for 'test'@'%';

八、服务管理

启动：/etc/init.d/mysqld start
关闭：/etc/init.d/mysqld stop
重启：/etc/init.d/mysqld restart
查看状态：/etc/init.d/mysqld status
配置开机启动：echo "/etc/init.d/mysqld start" >> /etc/rc.local