Raven's Wiki

清风皓月任我飞~~~

0%

发表于 更新于
  • 表达你要的, 而不是不要的
  • 表达感受, 而不是情绪
    表达自己是愤怒的, 而不是愤怒的表达
  • 表达你的需求而不是抱怨
    不要让对方猜测, 我想要什么.
  • 表达你要区的方向, 而不是抱怨所在的位置
    看目标, 而不是陷在事件里

发表于 更新于

TCP 是传输层协议, 对应 OSI 网络模型的第四层传输层, 特点如下.

TCP 协议是基于链接的, 也就是传输数据前需要先建立好链接, 然后再进行传输.

TCP 链接一旦建立, 就可以在链接上进行双向的通信.

TCP 的传输是基于字节流而不是报文, 将数据按字节大小进行编号, 接收端通过 ACK 来确认收到的数据编号, 通过这种机制, TCP 协议能够保证接收数据的有序性和完整性, 因此 TCP 能够提供可靠性传输.

TCP 还能提供流量控制能力, 通过滑动窗口来控制数据的发送速率. 滑动窗口的本质是动态缓冲区, 接收端根据自己的处理能力, 在 TCP 的 Header 中动态调整窗口大小, 通过 ACK 应答包通知给发送端, 发送端根据窗口大小调整发送的的速度.

仅仅有了流量控制能力还不够, TCP 协议还考虑到了网络问题可能会导致大量重传, 进而导致网络情况进一步恶化, 因此 TCP 协议还提供拥塞控制. TCP 处理拥塞控制主要用到了慢启动, 拥塞避免, 拥塞发生, 快速恢复四个算法, 感兴趣的同学可以进一步了解.

1. TCP 协议问题, 例如特定场景下 Nagel 和 ACK 延迟机制配合使用可能会出现 delay40ms 超时后才回复 ACK 包的问题.

2. 3 次握手

3. 4 次挥手

4. SYN 洪水攻击

SYN 洪水攻击发生的原因, 就是 Server 端收到 Client 端的 SYN 请求后, 发送了 ACK 和 SYN, 但是 Client 端不进行回复, 导致 Server 端大量的链接处在 SYN_RCVD 状态, 进而影响其他正常请求的建连. 可以设置 tcp_synack_retries = 0 加快半链接的回收速度, 或者调大 tcp_max_syn_backlog 来应对少量的 SYN 洪水攻击

发表于 更新于

性能问题分析:
- 预
服务硬件配置达不到要求
服务配置不正确
软件开发设计不正确
软件开发没有遵守规范
- 前 I/O 问题
发起连接
- 中 CPU 问题
请求处理
- 后 I/O 问题
结果传输

发表于 更新于

用于字段对齐
不太好的地方就是必须等前面的命令执行完成后才输出

1
vmstat 1 5 | column -t

发表于 更新于

发表于 更新于

DML, Data Manipulation Language, 数据操作语言
用于对数据的操作

  • Insert
  • Delete
  • Update
  • Select

1. 算时间差

1
select timestampdiff(second, now(), '2011-01-27 15:52:11');

2. 横向排列

1
2
3
4
5
6
7
8
9
10
11
12
select
date_format(idi.`callin_time`, '%y-%m-%d') as `day`,
count(*) as `total`,
coalesce(sum((case idi.`ivr_selectedoption` when '1' then 1 else 0 end)), 0) as `line1`,
coalesce(sum((case idi.`ivr_selectedoption` when '2' then 1 else 0 end)), 0) as `line2`,
coalesce(sum((case idi.`ivr_selectedoption` when '3' then 1 else 0 end)), 0) as `line3`,
coalesce(sum((case idi.`ivr_selectedoption` when '4' then 1 else 0 end)), 0) as `line4`
from vcc.`tcc_ivrdetailinfo` idi
where 1=1
and idi.`callin_time` between '2015-1-1' and '2015-1-29'
and idi.`ivr_selectedoption` != ''
group by date_format(idi.`callin_time`, '%y-%m-%d');

3. join

假如 A 表 join B 表

  • inner join
    A B 交集
1
2
3
select * from a 
inner join b 
on a.name = b.name
  • full outer join
    A B 并集
1
2
3
select * from a 
full outer join b 
on a.name = b.name
  • left outer join
    产生表 A 的完全集, 而 B 表中匹配的则有值, 没匹配的以 null 值取代.
1
2
3
select * from a 
left outer join b 
on a.name = b.name
  • left outer join on where
    产生在 A 表中有而在 B 表中没有的集合.
1
2
3
4
select * from a 
left outer join b 
on a.name = b.name
where b.name is null
  • right outer join
    产生表 B 的完全集, 而 A 表中匹配的则有值, 没匹配的以null值取代.
1
2
3
select * from a 
right outer join b 
on a.name = b.name
  • right outer join on where
    产生在 B 表中有而在 A 表中没有的集合.
1
2
3
4
select * from a 
right outer join b 
on a.name = b.name
where a.name is null
  • full outer join on where
    产生 ( A 表中有但 B 表没有) 和 ( B 表中有但 A 表中没有) 的数据集.
1
2
3
4
5
select * from a 
full outer join b 
on a.name = b.name
where a.name is null
or b.name is null
  • cross join
    交差集, A * B, 性能较差, 不建议使用

发表于 更新于

DDL, Data Definition Language, 数据定义语言
用于对数据库中的表, 视图的操作

  • Create
  • Drop
  • Alter

1. 查看表结构

1
2
3
4
5
6
show columns from $table_name;
desc $table_name;

show full columns from $table_name;

show create table $table_name;

2. 查看表大小

1
2
3
show table status like '$table_name';
show table status from vcash where name='$table_name';
select table_name, data_length, rows from information_schema.`tables` where table_name='$table_name';

3. 添加库

1
create database if not exists $database_name default charset utf8 collate utf8_general_ci;

4. 删除列

1
alter table $table_name drop $column_name;

5. 增加列

1
alter table $table_name add $column_name int not null comment $comment;

6. 增加列

1
alter table $table_name add $column_name int not null  comment $comment;

7. 修改列的类型信息

1
alter table $table_name change $column_name $new_column_name bigint not null comment $comment;

8. 重命名表

1
alter table $table_name rename $new_table_name;

9. 删除表中主键

1
alter table $table_name drop primary key;

10. 添加主键

1
alter table $table_name add constraint $pk_name primary key (resid, resfromid);

11. 添加索引

1
alter table $table_name add index $idx_name ($column_name);

12. 添加唯一限制条件索引

1
alter table $table_name add unique $uk_name($column_name);

13. 删除索引

1
alter table $table_name drop index $idx_name;

14. 修改 auto_increment

1
alter table $table_name auto_increment=1;

15. 改变字段顺序

1
2
alter table student modify id int(10) unsigned auto_increment first;
alter table student modify name varchar(10) after id;

16. 创建表

1
2
3
4
5
6
7
8
9
10
11
12
create table if not exists user (
    `id` bigint(20) auto_increment,
    `username` varchar(50) unique not null comment '姓名',
    `password` varchar(200) not null comment '密码',
    `salt` varchar(8) default null comment '加盐',
    `gender` tinyint(2) default null comment '性别 1:男 2:女',
    `birthday` date default null comment '出生日期',
    `create_time` datetime not null default current_timestamp comment '创建时间',
    `update_time` datetime default null on update current_timestamp comment '更新时间',
    `disable` tinyint(1) not null default '0' comment '记录是否失效 0:否, 1:是',
    primary key (`id`)
) engine = innodb default charset = utf8;

17. 修改字符集

1
2
3
4
5
6
show table status from @database like '@table';

alter database @database default character set utf8mb4;

alter table @table default character set utf8mb4 collate utf8mb4_general_ci;
alter table @table convert to character set utf8mb4;

18. 查看有哪些自定义的函数

1
select SPECIFIC_NAME from ROUTINES where ROUTINE_TYPE = 'FUNCTION' and DEFINER = 'root@%' ;

发表于 更新于

1. MySQL支持的分区类型有哪些？

  1. RANGE分区: 这种模式允许将数据划分不同范围. 例如可以将一个表通过年份划分成若干个分区

  2. LIST分区: 这种模式允许系统通过预定义的列表的值来对数据进行分割. 按照List中的值分区, 与RANGE的区别是, range分区的区间范围值是连续的.

  3. HASH分区 : 这中模式允许通过对表的一个或多个列的Hash Key进行计算, 最后通过这个Hash码不同数值对应的数据区域进行分区. 例如可以建立一个对表主键进行分区的表.

  4. KEY分区 : 上面Hash模式的一种延伸, 这里的Hash Key是MySQL系统产生的.

2. 表分区有什么好处？

  1. 存储更多数据. 分区表的数据可以分布在不同的物理设备上, 从而高效地利用多个硬件设备. 和单个磁盘或者文件系统相比, 可以存储更多数据

  2. 优化查询. 在where语句中包含分区条件时, 可以只扫描一个或多个分区表来提高查询效率; 涉及sum和count语句时, 也可以在多个分区上并行处理, 最后汇总结果.

  3. 分区表更容易维护. 例如: 想批量删除大量数据可以清除整个分区.

  4. 避免某些特殊的瓶颈, 例如InnoDB的单个索引的互斥访问.

3. 分区表的限制因素

  1. 一个表最多只能有1024个分区

  2. MySQL5.1中, 分区表达式必须是整数, 或者返回整数的表达式. 在MySQL5.5中提供了非整数表达式分区的支持.

  3. 如果分区字段中有主键或者唯一索引的列, 那么多有主键列和唯一索引列都必须包含进来. 即: 分区字段要么不包含主键或者索引列, 要么包含全部主键和索引列.

  4. 分区表中无法使用外键约束

  5. MySQL的分区适用于一个表的所有数据和索引, 不能只对表数据分区而不对索引分区, 也不能只对索引分区而不对表分区, 也不能只对表的一部分数据分区.

发表于 更新于

DCL, Data Control Language, 数据控制语言
用于控制数据权限

  • Grant
  • Revoke

1. 创建新用户

1
2
3
4
5
6
7
create user root@'%' identified WITH mysql_native_password BY 'password';
grant all privileges on *.* to root@'%' with grant option;
flush privileges;

CREATE USER 'raven'@localhost IDENTIFIED BY 'password'
GRANT ALL PRIVILEGES ON *.* TO 'raven'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
flush privileges;

2. 修改用户

1
2
3
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root' PASSWORD EXPIRE NEVER; #修改加密规则
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'password'; #更新一下用户的密码
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password'; #更新一下用户的密码

或者使用 mysqladmin:

1
/usr/bin/mysqladmin -u root password new-password

3. 查看支持的引擎

1
show engine;

4. 查看 MySQL 参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
-- 是否支持分区
-- have_partintioning 的值为YES, 表示支持分区. 
show variables like '%partition%';
-- 查看最大连接数
show variables like '%max_connections%';
-- 查看字符集
show variables like 'collation_%';
show variables like 'character_set_%';
--  查看缓存信息
show variables like '%cache%';
-- 清除缓存
reset query cache;

-- 查看状态变量
show status;
show global status;

-- com_select: 查询次数
-- com_insert: 插入次数
-- com_update: 更新次数
-- com_delete: 删除次数
-- connections: 登录次数
-- uptime: 运行时长
-- slow_queries: 慢查询次数 
-- handler_read%: 索引使用情况. handler_read_key: 这个值越高越好, 越高表示使用索引查询到的次数. handler_read_rnd_next: 这个值越高, 说明查询低效.
-- Created_tmp%: 统计临时文件和表
-- Handler_%: 统计句柄操作
-- Key_%: 统计键缓存
-- Qcache_%: 检查查询缓存
-- Select_%: 统计各种查询计划
-- Sort_%: 统计各种排序
show global status like 'Created_tmp%';

-- 查看事务隔离级别
select @@tx_isolation;

-- @isolation_level 可以是 read uncommitted | read committed | repeatable read | serializable
-- 设置当前回话的事务隔离级别
set session transaction isolation level @isolation_level;

-- 设置全局事务隔离级别
set global transaction isolation level serializable;

5. 查看连接列表

1
2
show processlist;
-- 通过 kill pid 杀死连接
1
mysql -e 'show processlist\G' | grep 'State:' | sort | uniq -c | sort -rn

6. explain

1
2
3
explain @sql;
-- 查询要用到的分区
explain partitions @sql;

7. 查看表状态

1
2
3
-- 查看表状态
show table status like 'table_name'
show [session|global] status like @status_name;

8. 查看实时 sql 记录

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
-- 日志开启
set global general_log = 'ON';
-- 日志关闭  
-- set global general_log = 'OFF';

-- 将查询输出到文件中
-- 这个文件会随着访问的增加而不断变大, 所以生产环境建议临时开启, 用完及时关闭. 
set global general_log_file = '/var/log/mysql/general_log.log';

-- 将查询输出到表中
set global log_output = 'TABLE';
-- 查询
select * from mysql.general_log order by event_time desc;

-- 使用完后关闭日志
set global general_log = 'OFF';
-- 清空表 (delete 对于这个表, 不允许使用, 只能用 truncate) 
truncate table mysql.general_log;

9. 查看慢查询

1
2
3
4
5
6
7
8
9
10
11
12
-- 查看慢查询是否开始, 存储文件位置
show variables like 'slow_query%';
-- 查询超过多少秒才记录
show variables like 'long_query_time';

-- 开启慢查询
set global slow_query_log='ON'; 
-- 设置慢查询时间, 默认为 10 秒
set long_query_time = 1;

-- 测试慢查询, 之后可以在慢查询日志文件中找到
select sleep(2)

10. 分析 SQL 执行时间

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
show variables like 'PROFILING';
set profiling ='ON';
show profiles;
set profiling ='OFF';

set @query_id=1;
select
    state,
    sum(duration) as total_r,
    ROUND(
        100 * sum(duration) / (
            select sum(duration)
            from information_schema.profiling
            where query_id = @quer_id
        ), 2
    ) as pct_r,
    count(*) as calls,
    sum(duration) / count(*) as "r/call"
from information_schema.profiling
where query_id = @query_id
group by state
order by total_r desc;

11. 表结构优化建议

1
2
-- 会给出每一列的优化建议.
SELECT column_name FROM table_name procedure analyse();

12. 定期回收闲置的数据库空间

1
2
3
optimize table table_name;
alter table table_name engine = innodb;
alter table table_name force;

13. 导入文件

1
source /file/to/source.sql
1
mysql < /file/to/source.sql

14. 导出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# 导出查询结果
# -N 不显示列名
# -e 后跟要执行的sql
mysql -N -e "select * from dual" > /file/to/result.txt

mysqldump $database $table_name > /file/to/dump.sql

# -d 没有数据
# --add-drop-table 在每个create语句之前增加一个drop table
# --skip-lock-tables 导出时不锁表
mysqldump -d --add-drop-table $database $table_name > /file/to/dump.sql

# -c 导出insert语句
# -t 没有表结构
mysqldump -t -c $database $table_name > /file/to/dump.sql

# -d 没有数据
# -y 不导出任何表空间信息
# --skip-comments 去除注释
# --skip-quote-names 不用 ``` 引起表和列名
# --compress 服务器与客户端压缩传输
mysqldump -d -y --skip-comments --skip-quote-names --compress $database > /file/to/dump.sql

15. 查看 bin log

1
2
3
4
5
6
-- 查看 bin log 状态
show variables like 'log_%';
show master status;
-- 查看 bin log 文件名称
show master logs;
show binary logs;
1
2
mysqlbinlog mysql-bin.000004 | tail;
mysqlbinlog mysql-bin.000004 > file.txt

16. Resource

发表于 更新于 分类于

1. B-Tree

平衡多路查找树

一棵 m 阶的 B-Tree, 或为空树, 或为满足以下特性的 m 叉树:

  1. 树中的每个结点至多有 m 棵子树
  2. 若根结点不是叶子结点, 则至少有 2 棵子树
  3. 除根结点外的所有分支结点至少有 ⌈m/2⌉\lceil m/2 \rceil 棵子树
    ⌈m/2⌉\lceil m/2 \rceil 即不超过 m/2 的整数
  4. 所有的非叶子结点中包含下列信息数据: (n,P0,K1,P1,K2,P2,...,Kn,Pn)(n, P_0, K_1, P_1, K_2, P_2, ..., K_n, P_n)
    n 为关键字数量, ⌈m/2⌉≤n≤m−1\lceil m/2 \rceil\le n \le m-1, n+1 为子树个数
    KiK_i(i=1…n) 为关键字, 且关键字按从小到大顺序排列
    Pj−1P_{j-1}(j=0…n) 为指向指向子树的指针, 且关键字 K 左指针指向的子树中的所有关键字都比 K 小, 关键字 K 右指针指向的子树中的所有关键字都比 K 大
  5. 所有叶子结点都出现在同一层次, 并且不带信息(可以看作是外部结点或查找失败的结点, 实际上这些结点不存在, 指向这些结点的指针为空)

2. B+Tree

B+Tree 是应文件系统所需而出的 B-Tree 的变型树.

一棵 m 阶的 B-Tree 和一棵 m 阶的 B+Tree 差异在于:

  1. 有 n 棵子树的结点中含有 n 个关键字
    关键字个数与指针个数相同
  2. 所有的非叶子结点可以看成是索引部分, 结点中仅含有其子树中的最大(或最小)关键字
  3. 所有的叶子结点中包含了全部的关键字信息, 及指向含这些关键字记录的指针, 且叶子结点本身按关键字的大小从小到大链接

非叶子不包含数据, 只是索引, 只有叶子结点才包含数据.

通常 B+Tree 上有两个头指针, 一个指向根结点, 另一个指向关键字最小的叶子结点.
因此可以堆 B+Tree 进行两种遍历运算:

  • 从根结点开始进行随机查找
  • 从最小关键字开始顺序查找

B+Tree 查找时, 如果非叶子结点上的关键字等于给定的值, 并不终止, 而是继续修改下直到叶子结点.

3. B*Tree

B树是B+树的变体, 在B+树的非根和非叶子结点再增加指向兄弟的指针; B树定义了非叶子结点关键字个数至少为(2/3)*M, 即块的最低使用率为2/3 (代替B+树的1/2) .

B+树的分裂: 当一个结点满时, 分配一个新的结点, 并将原结点中1/2的数据复制到新结点, 最后在父结点中增加新结点的指针; B+树的分裂只影响原结点和父结点, 而不会影响兄弟结点, 所以它不需要指向兄弟的指针;
B*树的分裂: 当一个结点满时, 如果它的下一个兄弟结点未满, 那么将一部分数据移到兄弟结点中, 再在原结点插入关键字, 最后修改父结点中兄弟结点的关键字 (因为兄弟结点的关键字范围改变了) ; 如果兄弟也满了, 则在原结点与兄弟结点之间增加新结点, 并各复制1/3的数据到新结点, 最后在父结点增加新结点的指针;