postgresql 12版本搭建及主备部署操作

postgreSQL 12版本主备部署

环境搭建

centos 7+

postgresql 12.0

# 网络检查ping -c2 baidu.COM#关闭防火墙，selinuxSystemctl stop firewalld &
    &
     sudo systemctl disable firewalldsed -ri s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/configsetenforce 0### 配置阿里云yum源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bakcurl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo#echo "isntalling tools"yum -y install vim net-tools wget ntpdateyum -y groupinstall "Development Tools"# 时间同步echo "*/10 * * * * /usr/sbin/ntpdate ntp.aliyun.com >
     /dev/null 2>
    &
    1" >
    >
    /etc/crontab# 加快ssh连接sed -ri s/"#UseDNS yes"/"UseDNS no"/g /etc/ssh/sshd_configsystemctl restart sshd## 环境准备，根据自身需要，减少或者增加yum install -y wget gcc gcc-c++ EPEL-release lLVM5.0 llvm5.0-devel clang libicu-devel PErl-ExtUtils-Embed readline readline-devel zlib zlib-devel openssl openssl-devel PAM-devel libXMl2-devel libxslt-devel openldap-devel systemd-devel tcl-devel python-devel## 下载、解压，安装cd /usr/local/srcwget https://ftp.postgresql.org/pub/source/v12.0/postgresql-12.0.tar.gztar -xvzf postgresql-12.tar.gzcd postgresql-12./configure --PRefix=/usr/local/pgsql/12 --enable-nls --wITh-python --with-tcl --with-gssapi --with-icu --with-openssl --with-pam --with-ldap --with-systemd --with-libxML --with-libxsltmake &
    &
 make install## 创建目录和用户,以及配置环境变量groupadd postgresuseradd -g postgres postgres## 密码设置在引号内输入自己的密码echo "postgres" | passwd --stdin postgresmkdir -p /data/pgdata/{
data,Archivedir}
    chown -R postgres:postgres /usr/local/pgsql -Rchown postgres:postgres /data/pgdata -Recho "export PATH=/usr/local/pgsql/12/bin:$PATH" >
    /etc/profile.d/pgsql.shsource /etc/profile.d/pgsql.sh

环境部署已经完成,接下来我们来搭建postgresql的主备

主备搭建

备库搭建

以下的操作均在Postgres用户下进行

su - postgres##初始化initdb -D /data/pgdata/data -U postgres --locale=en_US.UTF8 -E UTF8cp /data/pgdata/data/{
pg_hba.conf,pg_hba.conf.bak}
    ## 允许repl用户进行流复制cat -eof >
    >
/data/pgdata/data/pg_hba.confhost all    all    0.0.0.0/0    md5host replication  repl   192.168.0.0/22   trusteofcp /data/pgdata/data/{
postgresql.conf,postgresql.conf.bak}
    ##配置postgresql.confcat -eof >
    /data/pgdata/data/postgresql.conflisten_addresses = '*'      port = 5432max_connections = 100superuser_reserved_connections = 10full_page_writes = onwal_LOG_hints = offmax_wal_senders = 50hot_standby = onlog_destination = 'csvlog'logging_collector = onlog_directory = 'log'log_filename = 'postgresql-%Y-%m-%d_%H%M%S'log_rotation_age = 1dlog_rotation_size = 10MBlog_statement = 'mod'log_timezone = 'PRC'timezone = 'PRC'unix_socket_directories = '/tmp'shared_buffers = 512MBtemp_buffers = 16MBwork_mem = 32MBeffective_cache_size = 2GBmaintenance_work_mem = 128MB#max_stack_depth = 2MBdynamic_shared_memory_type = posix## PITRfull_page_writes = onwal_buffers = 16MBwal_writer_delay = 200mscommit_delay = 0commit_siblings = 5wal_level = replicaarchive_mode = onarchive_command = 'test ! -f /data/pgdata/archivedir/%f &
    &
     cp %p /data/pgdata/archivedir/%f'archive_timeout = 60seof## 启动数据库pg_ctl -D /data/pgdata/data -l /data/pgdata/data/serverlog start## 创建用户进行流复制连接psql -U postgres -c "ALTER USER postgres WITH PASSWORD 'postgres';
    "psql -U postgres -c "CREATE USER repl WITH PASSWORD 'postgres' REPLICATION;
    "

备库搭建

## 备份复制，备库配置，pg_basebackup -h 192.168.3.62 -p 5432 -U repl -w -Fp -Xs -pv -R -D /data/pgdata/data根据主库的postgresql.conf 配置文件 修改参数配置:1, listen_addresses = '* '2, wal_level = hot_standby3, max_connections = xxx, # 一般比主库大一些.4,hot_standby = on5, max_standby_streaming_delay = 30s6. wal_receiver_status_interval = 10s7, hot_standby_feedback = on # 如果有错误的数据复制,是否向 主进行范例.### 在postgre.auto.conf 添加 application_name =slave1,配置如下Primary_conninfo = 'application_name=slave1 user=repl passfile=''/home/postgres/.pgpass'' host=192.168.3.62 port=5432 sslmode=prefer sslcomPression=0 gssencmode=prefer krbsrvname=postgres target_session_attrs=any'## 启动备库pg_ctl -D /data/pgdata/data start

写在最后（状态检查）

##状态检查### 回到主库查看状态$ psql -c "select client_addr,usename,backend_start,application_name,sync_state,sync_priority From pg_stat_replication;
    " client_addr | usename |   backend_start   | application_name | sync_state | sync_priority --------------+---------+-------------------------------+------------------+------------+--------------- 192.168.3.61 | repl | 2019-10-16 15:34:45.130732+08 | slave1   | async  |    0(1 row)$ psql -c "select client_addr, sync_state from pg_stat_replication;
    " client_addr | sync_state --------------+------------ 192.168.3.61 | async(1 row)##备库只读, 所以任何操作, 都会告警失败:postgres=# drop database pgtest;
    ERROR: cannot execute DROP DATABASE in a read-only transaction## 查看主备的状态#主ps -ef |grep senderpostgres 92996 51692 0 15:34 ?  00:00:00 postgres: walsender repl 192.168.3.61(53958) streaming 0/8000060postgres 101845 20470 0 15:45 pts/2 00:00:00 grep --color=auto sender#备ps -ef |grep recoverpostgres 98311 98309 0 15:34 ?  00:00:00 postgres: startup recovering 000000010000000000000008postgres 108029 21054 0 15:46 pts/2 00:00:00 grep --color=auto recover#通过此命令判断主备pg_controldata -D /data/pgdata/data/ |grep statein archive recovery ## 表示从库in production  ## 表示主库

补充：PostgreSQL 12：新功能和增强功能

介绍

PostgreSQL 12是世界上最受欢迎和功能最丰富的开源数据库的下一个主要发行版。PostgreSQL 12的稳定版本计划于2019年末发布。版本12的Beta 4已于2019年9月12日发布。

本文将引导您完成最重要的新功能的摘要。PostgreSQL 12中的增强功能和重大更改。

新功能和增强功能

CTE增强

在PostgreSQL中，CTE是优化屏障（外部查询限制不传递给CTE），数据库在CTE内部评估查询，并缓存结果（即具体化的结果）和外部where子句，这意味着在处理外部查询时，要么执行完整表扫描，要么执行完整索引查找。对于大表来说，这会导致糟糕的性能。

WITH AllUsers AS (SELECT * FROM Users)SELECT * FROM AllUsers WHERE Id = 100;
    

为了克服这个问题，您可以在PostgreSQL中将该查询重写为：

WITH UserRecord AS (SELECT * FROM Users WHERE Id = 100)SELECT * FROM UserRecord;
    

PostgreSQL 12通过引入查询优化器提示来解决此问题，以使我们能够控制是否应实现CTE：MATERIALIZED，NOT MATERIALIZED。因此，可以将查询重写如下，以获得更好的性能。

WITH AllUsers AS NOT MATERIALIZED (SELECT * FROM Users)SELECT * FROM AllUsers WHERE Id = 100;
    

这有效地内联了CTE表达式，并显着提高了性能。

生成列

SQL Server和oracle长期以来都有计算列，而PostgreSQL中缺少计算列使从其他数据库的迁移变得非常困难。PostgreSQL 12引入了生成列(Generated Columns)来解决这个问题。

生成列对于列就像视图对于表一样。该列的值始终是根据表中的其他列计算的。生成的列可以是虚拟的或存储的。虚拟列的值是在查询期间动态计算的，它们不会占用存储空间。已存储的列的值已预先计算并存储为表数据的一部分。PostgreSQL当前仅实现存储的生成列。

GENERATED ALWAYS AS子句用于创建生成的列

CREATE TABLE Employee ( ..., dob timestamp, age integer GENERATED ALWAYS AS (date_part('year', current_TIME - dob)) StoreD);
    

在PostgreSQL 11.x和更早的版本中，唯一的方法是将age声明为普通列并编写触发器以在插入和更新期间填充该列

CREATE OR REPLACE FUNCTION calc_age() RETURNS TRIGGER AS $body$BEGIN NEW.age := date_part('year', CURRENT_TIME - NEW.dob::timestamp);
     RETURN NEW;
    END;
     $body$ LANGUAGE plpgsql;
    

计算列的SQL Server语法

将此与SQL Server语法进行对比。SQL Server中没有特殊的关键字来声明计算列。您只需在AS子句后指定使我们成为计算列的表达式。

-- SQL Server SyntaxCREATE TABLE Employee ( ..., dob datetime, age AS DATEDIFF(year,dob,GETDATE()) PERSISTED);
    

请注意PERSISTED 子句与PostgreSQL的STORED 子句等效。SQL Server还支持非持久的计算列，只是不指定PERSISTED 子句。

那么，生成列与带有DEFAULT子句的普通列有何不同？

1、如果未提供其他值，则在首次插入行时对列默认值进行一次评估。每当行发生更改且无法覆盖时，生成的列都会更新。

2、可以在INSERT或UPDATE语句中为具有DEFAULT约束的列提供值。生成的列不能被赋予值，它们总是被计算的。

3、列的默认值不能引用表的其他列，而生成的列则专门用于引用该表。

4、列默认值可以使用易变函数，例如random()或current_time，生成的列不能使用。

重新索引改进

REINDEX CONCURRENTLY可以重建索引而不会阻止对其表的写入。CONCURRENTLY子句先前仅在CREATE INDEX语句中可用。

CREATE TABLE test (x INTEGER);
    INSERT INTO test SELECT generate_series(1, 1000000);
    CREATE INDEX i_test ON test (x);
    REINDEX INDEXCONCURRENTLY i_test;
    

在早期版本的PostgreSQL中，REINDEX在大表上经常引起阻塞写入和严重的性能问题。

默认情况下启用JIT编译

如果服务器是在其支持下构建的，则默认情况下启用即时（JIT）编译。请注意，默认情况下不构建此支持，但是在配置构建时必须明确选择。这对于数据仓库查询特别有用。

查询并行性改进

在SERIALIZABLE隔离模式下，允许并行查询。以前，在此模式下禁用并行性。

PL/pgSQL增强

允许在相同的PL/pgSQL函数中使用与这些命令同名的SQL命令和变量。例如，允许一个调用变量comment存在于调用COMMENT SQL命令的函数中。以前，此组合导致解析错误。

SQL / JSON路径查询

PostgreSQL 12现在允许按照SQL：2016标准中的SQL / JSON规范执行JSON路径查询。JSON路径表达式使您可以评估各种算术表达式和函数，并比较JSON文档中的值，类似于XML的xpath表达式。可以使用GIN索引来加速这些表达式，从而改善跨JSON数据的查找执行。

分区改进

在处理带有成千上万个分区的表的命令时，只需使用所有可用分区的子集，PostgreSQL 12的性能就会得到显著提高。与以前的版本相比，INSERT和COPY到分区表的速度也要快得。 ATTACH PARTITION现在可以执行，而不会阻止对分区表的并发查询。现在可以将分区表称为外键。分区边界现在可以是表达式。

拼写改进

PostgreSQL 12现在支持对ICU提供的排序规则（也称为“非确定性排序规则”），不区分大小写和不区分重音的比较。使用这些排序规则时，可以为比较和排序提供便利，但是由于排序规则可能需要对字符串进行其他检查，因此也可能导致性能下降。

MCV统计信息现在支持多列

CREATE STATISTICS命令允许对多列进行最常用值统计。以前，多列只记录了一个相关值。

CREATE STATISTICS stts3 (mcv) ON state, city FROM zipcodes;
    ANALYZE zipcodes;
    

从旧版本迁移

1、PostgreSQL 12中的某些更改可能会影响与早期版本的兼容性。

recovery.conf不再使用，并且如果该文件存在，服务器将不会启动。recovery.signal和standby.signal文件现在用于切换到非主要模式。trigger_file已重命名为promove_trigger_file。standby_mode设置已被删除。

2、在新的BTree索引中，最大索引条目长度减少了八个字节，以改善重复条目的处理。这意味着REINDEX对先前版本的索引pg_upgrade 进行的操作可能会失败。

3、如果没有提供参数列表，并存在多个匹配对象，DROP IF EXISTS FUNCTION/ PROCEDURE/ AGGREGATE/ ROUTINE以产生一个错误

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。

• postgresql 性能参数配置方式
• postgresql SQL语句变量的使用说明
• postgresql 实现查询出的数据为空,则设为0的操作
• postgresql 补齐空值、自定义查询字段并赋值操作
• Postgresql中xlog生成和清理逻辑操作
• Postgresql去重函数distinct的用法说明
• 浅谈PostgreSQL和SQLServer的一些差异

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！