## 文本处理

目录

+   文本处理
    +   [find] 文件查找
        +   定制搜索
        +   找到后的后续动作
        +   \-print的定界符
    +   [grep] 文本搜索
    +   xargs 命令行参数转换
    +   sort 排序
    +   uniq 消除重复行
    +   用tr进行转换
    +   cut 按列切分文本
    +   paste 按列拼接文本
    +   wc 统计行和字符的工具
    +   sed 文本替换利器
    +   [awk]数据流处理工具
        +   print 打印当前行
        +   特殊变量： NR NF $0 $1 $2
        +   传递外部变量
        +   用样式对awk处理的行进行过滤
        +   设置定界符
        +   读取命令输出
        +   在awk中使用循环
        +   awk结合grep找到指定的服务，然后将其kill掉
        +   awk实现head、tail命令
        +   打印指定列
        +   打印指定文本区域
        +   awk常用内建函数
    +   迭代文件中的行、单词和字符
        +   1\. 迭代文件中的每一行
        +   2.迭代一行中的每一个单词
        +   3\. 迭代每一个字符

本节将介绍Linux下使用[shell]处理文本时最常用的工具： find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk； 提供的例子和参数都是常用的； 我对shell脚本使用的原则是命令单行书写，尽量不要超过2行； 如果有更为复杂的任务需求，还是考虑python吧；

## 3.1. find 文件查找

查找txt和pdf文件:

```
find . $ -name "*.txt" -o -name "*.pdf" $ -print
```

正则方式查找.txt和pdf:

```
find . -regex  ".*$\.txt|\.pdf$$"
```

\-iregex： 忽略大小写的正则

否定参数 ,查找所有非txt文本:

```
find . ! -name "*.txt" -print
```

指定搜索深度,打印出当前目录的文件（深度为1）:

```
find . -maxdepth 1 -type f
```

### 定制搜索

+   按类型搜索

```
find . -type d -print  //只列出所有目录
```

\-type f 文件 / l 符号链接 / d 目录

find支持的文件检索类型可以区分普通文件和符号链接、目录等，但是[二进制]文件和文本文件无法直接通过find的类型区分出来；

file命令可以检查文件具体类型（二进制或文本）:

```
$file redis-cli  # 二进制文件
redis-cli: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.9, not stripped
$file redis.pid  # 文本文件
redis.pid: ASCII text
```

所以,可以用以下命令组合来实现查找本地目录下的所有二进制文件:

```
ls -lrt | awk '{print $9}'|xargs file|grep  ELF| awk '{print $1}'|tr -d ':'
```

+   按时间搜索
    
    +   \-atime 访问时间 (单位是天，分钟单位则是-amin，以下类似）
    +   \-mtime 修改时间 （内容被修改）
    +   \-ctime 变化时间 （元数据或权限变化）
    

最近第7天被访问过的所有文件:

```
find . -atime 7 -type f -print
```

最近7天内被访问过的所有文件:

```
find . -atime -7 -type f -print
```

查询7天前被访问过的所有文件:

```
find . -atime +7 type f -print
```

+   按大小搜索：

w字 k M G 寻找大于2k的文件:

```
find . -type f -size +2k
```

按权限查找:

```
find . -type f -perm 644 -print //找具有可执行权限的所有文件
```

按用户查找:

```
find . -type f -user weber -print// 找用户weber所拥有的文件
```

### 找到后的后续动作

+   删除

删除当前目录下所有的swp文件:

```
find . -type f -name "*.swp" -delete
```

另一种语法:

```
find . type f -name "*.swp" | xargs rm
```

+   执行动作（强大的exec）

将当前目录下的所有权变更为weber:

```
find . -type f -user root -exec chown weber {} \;
```

注：{}是一个特殊的字符串，对于每一个匹配的文件，{}会被替换成相应的文件名；

将找到的文件全都copy到另一个目录:

```
find . -type f -mtime +10 -name "*.txt" -exec cp {} OLD \;
```

+   结合多个命令

如果需要后续执行多个命令，可以将多个命令写成一个脚本。然后 -exec 调用时执行脚本即可:

```
-exec ./commands.sh {} \;
```

### \-print的定界符

默认使用’\\n’作为文件的定界符；

\-print0 使用’\\0’作为文件的定界符，这样就可以搜索包含空格的文件；

## 3.2. grep 文本搜索

```
grep match_patten file // 默认访问匹配行
```

常用参数

+   \-o 只输出匹配的文本行 **VS** -v 只输出没有匹配的文本行
+   \-c 统计文件中包含文本的次数
    
    grep -c “text” filename
    
+   \-n 打印匹配的行号
+   \-i 搜索时忽略大小写
+   \-l 只打印文件名

在多级目录中对文本递归搜索(程序员搜代码的最爱）:

```
grep "class" . -R -n
```

匹配多个模式:

```
grep -e "class" -e "vitural" file
```

grep输出以0作为结尾符的文件名（-z）:

```
grep "test" file* -lZ| xargs -0 rm
```

综合应用：将日志中的所有带where条件的sql查找查找出来:

```
cat LOG.* | tr a-z A-Z | grep "FROM " | grep "WHERE" > b
```

查找中文示例：工程目录中utf-8格式和gb2312格式两种文件，要查找字的是中文；

1.  查找到它的utf-8编码和gb2312编码分别是E4B8ADE69687和D6D0CEC4
    
2.  查询:
    
    ```
    grep：grep -rnP "\xE4\xB8\xAD\xE6\x96\x87|\xD6\xD0\xCE\xC4" *即可
    ```
    


## 3.3. xargs 命令行参数转换

xargs 能够将输入数据转化为特定命令的命令行参数；这样，可以配合很多命令来组合使用。比如grep，比如find； – 将多行输出转化为单行输出

```
cat file.txt| xargs
```

n 是多行文本间的定界符

+   将单行转化为多行输出

```
cat single.txt | xargs -n 3
```

\-n：指定每行显示的字段数

xargs参数说明

+   \-d 定义定界符 （默认为空格 多行的定界符为 n）
+   \-n 指定输出为多行
+   \-I {} 指定替换字符串，这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时
+   \-0：指定0为输入定界符

示例:

```
cat file.txt | xargs -I {} ./command.sh -p {} -1

#统计程序行数
find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l

#redis通过string存储数据，通过set存储索引，需要通过索引来查询出所有的值：
./redis-cli smembers $1  | awk '{print $1}'|xargs -I {} ./redis-cli get {}
```

## 3.4. sort 排序

字段说明

+   \-n 按数字进行排序 VS -d 按字典序进行排序
+   \-r 逆序排序
+   \-k N 指定按第N列排序

示例:

```
sort -nrk 1 data.txt
sort -bd data // 忽略像空格之类的前导空白字符
```

## 3.5. uniq 消除重复行

+   消除重复行

```
sort unsort.txt | uniq
```

+   统计各行在文件中出现的次数

```
sort unsort.txt | uniq -c
```

+   找出重复行

```
sort unsort.txt | uniq -d
```

可指定每行中需要比较的重复内容：-s 开始位置 -w 比较字符数

## 3.6. 用tr进行转换

+   通用用法

```
echo 12345 | tr '0-9' '9876543210' //加解密转换，替换对应字符
cat text| tr '\t' ' '  //制表符转空格
```

+   tr删除字符

```
cat file | tr -d '0-9' // 删除所有数字
```

\-c 求补集

```
cat file | tr -c '0-9' //获取文件中所有数字
cat file | tr -d -c '0-9 \n'  //删除非数字数据
```

+   tr压缩字符

tr -s 压缩文本中出现的重复字符；最常用于压缩多余的空格:

```
cat file | tr -s ' '
```

+   字符类

tr中可用各种字符类：

+   alnum：字母和数字
+   alpha：字母
+   digit：数字
+   space：空白字符
+   lower：小写
+   upper：大写
+   cntrl：控制（非可打印）字符
+   print：可打印字符

使用方法：tr \[:class:\] \[:class:\]

```
tr '[:lower:]' '[:upper:]'
```

## 3.7. cut 按列切分文本

+   截取文件的第2列和第4列

```
cut -f2,4 filename
```

+   去文件除第3列的所有列

```
cut -f3 --complement filename
```

+   \-d 指定定界符

```
cat -f2 -d";" filename
```

+   cut 取的范围
    
    +   N- 第N个字段到结尾
    +   \-M 第1个字段为M
    +   N-M N到M个字段
    
+   cut 取的单位
    
    +   \-b 以字节为单位
    +   \-c 以字符为单位
    +   \-f 以字段为单位（使用定界符）
    

示例:

```
cut -c1-5 file //打印第一到5个字符
cut -c-2 file  //打印前2个字符
```

截取文本的第5到第7列

```
$echo string | cut -c5-7
```

## 3.8. paste 按列拼接文本

将两个文本按列拼接到一起;

```
cat file1
1
2

cat file2
colin
book

paste file1 file2
1 colin
2 book
```

默认的定界符是制表符，可以用-d指明定界符:

```
paste file1 file2 -d ","
1,colin
2,book
```

## 3.9. wc 统计行和字符的工具

```
$wc -l file // 统计行数

$wc -w file // 统计单词数

$wc -c file // 统计字符数
```

## 3.10. sed 文本替换利器

+   首处替换

```
sed 's/text/replace_text/' file   //替换每一行的第一处匹配的text
```

+   全局替换

```
sed 's/text/replace_text/g' file
```

默认替换后，输出替换后的内容，如果需要直接替换原文件,使用-i:

```
sed -i 's/text/repalce_text/g' file
```

+   移除空白行

```
sed '/^$/d' file
```

+   变量转换

已匹配的字符串通过标记&来引用.

```
echo this is en example | sed 's/\w+/[&]/g'
$>[this]  [is] [en] [example]
```

+   子串匹配标记

第一个匹配的括号内容使用标记 1 来引用

```
sed 's/hello$[0-9]$/\1/'
```

+   双引号求值

sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值:

```
sed 's/$var/HLLOE/'
```

当使用双引号时，我们可以在sed样式和替换字符串中指定变量；

```
eg:
p=patten
r=replaced
echo "line con a patten" | sed "s/$p/$r/g"
$>line con a replaced
```

+   其它示例

字符串插入字符：将文本中每行内容（ABCDEF） 转换为 ABC/DEF:

```
sed 's/^.\{3\}/&\//g' file
```

## 3.11. awk 数据流处理工具

+   awk脚本结构

```
awk ' BEGIN{ statements } statements2 END{ statements } '
```

+   工作方式

1.执行begin中语句块；

2.从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕；

3.执行end语句块；

### print 打印当前行

+   使用不带参数的print时，会打印当前行

```
echo -e "line1\nline2" | awk 'BEGIN{print "start"} {print } END{ print "End" }'
```

+   print 以逗号分割时，参数以空格定界;

```
echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; \
print var1, var2 , var3; }'
$>v1 V2 v3
```

+   使用-拼接符的方式（”“作为拼接符）;

```
echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; \
print var1"-"var2"-"var3; }'
$>v1-V2-v3
```

### 特殊变量： NR NF $0 $1 $2

NR:表示记录数量，在执行过程中对应当前行号；

NF:表示字段数量，在执行过程总对应当前行的字段数；

$0:这个变量包含执行过程中当前行的文本内容；

$1:第一个字段的文本内容；

$2:第二个字段的文本内容；

```
echo -e "line1 f2 f3\n line2 \n line 3" | awk '{print NR":"$0"-"$1"-"$2}'
```

+   打印每一行的第二和第三个字段

```
awk '{print $2, $3}' file
```

+   统计文件的行数

```
awk ' END {print NR}' file
```

+   累加每一行的第一个字段

```
echo -e "1\n 2\n 3\n 4\n" | awk 'BEGIN{num = 0 ;
print "begin";} {sum += $1;} END {print "=="; print sum }'
```

### 传递外部变量

```
var=1000
echo | awk '{print vara}' vara=$var #  输入来自stdin
awk '{print vara}' vara=$var file # 输入来自文件
```

### 用样式对awk处理的行进行过滤

```
awk 'NR < 5' #行号小于5
awk 'NR==1,NR==4 {print}' file #行号等于1和4的打印出来
awk '/linux/' #包含linux文本的行（可以用正则表达式来指定，超级强大）
awk '!/linux/' #不包含linux文本的行
```

### 设置定界符

使用-F来设置定界符（默认为空格）:

```
awk -F: '{print $NF}' /etc/passwd
```

### 读取命令输出

使用getline，将外部shell命令的输出读入到变量cmdout中:

```
echo | awk '{"grep root /etc/passwd" | getline cmdout; print cmdout }'
```

### 在awk中使用循环

<

pre>for(i=0;i<10;i++){print $i;}  
for(i in array){print array\[i\];}

eg:以下字符串，打印出其中的时间串:

```
2015_04_02 20:20:08: mysqli connect failed, please check connect info
$echo '2015_04_02 20:20:08: mysqli connect failed, please check connect info'|awk -F ":" '{ for(i=1;i<=;i++) printf("%s:",$i)}'
>2015_04_02 20:20:08:  # 这种方式会将最后一个冒号打印出来
$echo '2015_04_02 20:20:08: mysqli connect failed, please check connect info'|awk -F':' '{print $1 ":" $2 ":" $3; }'
>2015_04_02 20:20:08   # 这种方式满足需求
```

而如果需要将后面的部分也打印出来(时间部分和后文分开打印):

```
$echo '2015_04_02 20:20:08: mysqli connect failed, please check connect info'|awk -F':' '{print $1 ":" $2 ":" $3; print $4;}'
>2015_04_02 20:20:08
>mysqli connect failed, please check connect info
```

以逆序的形式打印行：(tac命令的实现）:

```
seq 9| \
awk '{lifo[NR] = $0; lno=NR} \
END{ for(;lno>-1;lno--){print lifo[lno];}
} '
```

### awk结合grep找到指定的服务，然后将其kill掉

```
ps -fe| grep msv8 | grep -v MFORWARD | awk '{print $2}' | xargs kill -9;
```

### awk实现head、tail命令

+   head

```
awk 'NR<=10{print}' filename
```

+   tail

<

pre>awk '{buffer\[NR%10\] = $0;} END{for(i=0;i<11;i++){ \\  
print buffer\[i %10\]} } ' filename

### 打印指定列

+   awk方式实现

```
ls -lrt | awk '{print $6}'
```

+   cut方式实现

```
ls -lrt | cut -f6
```

### 打印指定文本区域

+   确定行号

```
seq 100| awk 'NR==4,NR==6{print}'
```

+   确定文本

打印处于start\_pattern 和end\_pattern之间的文本:

```
awk '/start_pattern/, /end_pattern/' filename
```

示例:

```
seq 100 | awk '/13/,/15/'
cat /etc/passwd| awk '/mai.mail/,/news.news/'
```

### awk常用内建函数

index(string,search\_string):返回search\_string在string中出现的位置

sub(regex,replacement\_str,string):将正则匹配到的第一处内容替换为replacement\_str;

match(regex,string):检查正则表达式是否能够匹配字符串；

length(string)：返回字符串长度

```
echo | awk '{"grep root /etc/passwd" | getline cmdout; print length(cmdout) }'
```

printf 类似c语言中的printf，对输出进行格式化:

```
seq 10 | awk '{printf "->%4s\n", $1}'
```

## 3.12. 迭代文件中的行、单词和字符

### 1\. 迭代文件中的每一行

+   while 循环法

```
while read line;
do
echo $line;
done < file.txt

改成子shell:
cat file.txt | (while read line;do echo $line;done)
```

+   awk法

```
<pre>cat file.txt| awk '{print}'
```

### 2.迭代一行中的每一个单词

```
for word in $line;
do
echo $word;
done
```

### 3\. 迭代每一个字符

${string:start\_pos:num\_of\_chars}：从字符串中提取一个字符；(bash文本切片）

${#word}:返回变量word的长度

```
for((i=0;i<${#word};i++))
do
echo ${word:i:1);
done
```

以ASCII字符显示文件:

```
$od -c filename
```

Linux 文本处理

##### 系统符号

+   基础符号
    
    +   `$`
        
        +   取出变量中的内容
            
        +   取出指定列的信息（[awk]）
            
            ```
            awk '{print $3}' /old.txt
            取出第三列的信息 
            ```
            
        +   表示用户命令提示符号
            
        +   表示一行的结尾
            
    +   `!`
        
        +   表示取反或者排除
        +   命令行中表示取出最近命令
        +   用于表示强制操作处理
            +   vim底行模式强制保存退出：`!wq`
    +   `|`
        
        +   前一个命令执行结果交给后面命令处理
        +   xargs配合使用：将信息进行分组显示
+   引号符号系列
    
    +   `''`：sed和awk要使用单引号
        
        +   所见即所得
    +   `""`
        
        +   对特殊信息会做解析
    +   “或$()：
        
        +   先执行里面的内容然后交给前面的命令，并且执行的结果如果是多行交给前面的命令变成了一行
    +   没有引号：
        
        +   和双引号功能类似
        +   但是可以直接识别通配符信息
        
        ```
        echo {00..5}.txt
        输出5个txt
        
        echo "{00..5}.txt"
        输出原样
        ```
        
+   定向符号系列
    
    +   `>`：标准输出重定向符号
        
        +   `2>`：错误输出重定向符号（只输出错误的）
    +   `>>`：标准输出追加重定向符号
        
        +   `2>>`：错误输出追加重定向符号
    +   `<`：标准输入重定向符号
        
        ```
        tr < xargs <
        ```
        
        +   `<<`：标准输入追加重定向符号
            
            ```
            cat >> /old.txt <<EOF
            xxx
            xxx
            EOF
            ```
            
        +   如何将正确和错误的信息都可以放进去(都是追加)
            
            ```
            echo old >> /var/1.log 2>> /var/1.log
            
            或
            echo old &>> /var/1.log
            
            或
            echo old >> /var/1.log 2>&1
            ```
            
+   路径信息系列
    
    +   `../`：上一级目录
    +   `./`：当前路径
    +   `~`：返回到家目录
    +   `-`：两个目录之间进行快速切换
+   逻辑符号
    
    +   `&&`：与逻辑符号，前一个命令执行成功了才执行后面的命令
        
    +   `||`：
        
        +   如果前面命令执行失败就执行后面的命令。
        +   如果前面命令执行成功就不执行后面的命令
    +   `;`：不管前面执行是否成功都执行后面的命令（所有命令都执行）
        
    +   `&&\`：可以将要执行的命令重新一行开始写
        

##### 通配符号：根据文件名称进行匹配

+   `*`：模糊匹配所有内容
    
    +   在[grep]命令里使用的是正则符号：匹配前一个字符出现了0次或多次
+   `{}`：
    
    +   生成序列信息（生成一行序列）
        
        ```
        echo {1..10}
        echo {01..10}
        echo {a..z}
        ```
        
    +   生成连续序列
        
        ```
        echo {1..10..2}
        1 3 5 7 9
        ```
        
    +   生成不连续序列
        
        ```
        echo {www,bbs,ccc}
        www bbs ccc
        ```
        
    +   生成组合序列
        
        ```
        echo {a..c}{01..03}
        a01 a02 a03 b01 b02 b03 c01 c02 c03
        
        echo A{01..03}
        A01 A02 A03
        ```
        
    +   快速备份文件数据
        
        ```
        echo old.txt{,.bak}
        old.txt old.txt.bak
        
        cp old.txt{,.bak}等价于cp old.txt old.txt.bak
        ```
        
    +   快速还原
        
        ```
        mv /old/1.txt{.bak,}等价于mv /old/1.txt.bak /old/1.txt
        ```
        

##### 正则符号：进行内容进行匹配

+   用处
    
    +   利用正则符号匹配文件内容信息
        
    +   正则符号经常出现在各种开发与研制
        
    +   正则符号经常被三剑客命令使用
        
+   分类
    
    +   基础正则符号：base
    +   扩展正则符号：extended

##### 基础符号

+   `^`：匹配以什么开头的
    
    ```
    匹配当前路径下的目录
    ll | grep "^d"
    ```
    
+   `$`：以什么结尾的信息
    
    ```
    匹配以/结尾的
    ll -F | grep "/$"
    
    -F 目录后面有一个/
    ```
    
+   不匹配空行
    
    ```
    grep -v "^$"
    ^$：匹配空行
    -v：取反
    ```
    
+   `.`：匹配任意一个字符且只有一个字符
    
    ```
    grep -o '.' 1.txt
    
    -o：显示匹配过程
    发现每次匹配的都是一个字符一个字符匹配且如果行为空的话不匹配。会对文件所有内容都进行匹配
    ```
    
+   `*`：匹配前一个字符出现了0次或多次
    
    ```
    grep -o '01*' 1.txt
    
    会对文件所有内容都进行匹配
    先匹配1 然后匹配1
    ```
    
+   `.*`：匹配任意所有信息
    
    ```
    #这匹配的是以mm开头mm结尾中间没内容的行。就是一行的内容为mm
    grep "^mm$" 1.txt
    
    #这匹配的是以mm开头，mm结尾但中间有内容
    grep "^mm.*mm$" 1.txt
    ```
    
+   贪婪匹配问题：指定具体的匹配信息
    
+   转义符号：`\`
    
    ```
    grep "\.$" 1.txt
    
    匹配以.结尾的行
    ```
    
    +   将有特殊意义的符号，转义成普通信息进行识别
        
    +   将没有意义的信息转为有特殊意义的信息
        
        ```
        \n：换行符号
        \t：制表符号
        ```
        
+   括号符号：`[]`：匹配多个信息。**括号里面的的每个字符都是独立的**
    
    ```
    grep "oldb[oe]y" 1.txt
    匹配oldboy和oldbey的信息。
    
    grep "^[a-Z]" 1.txt
    ```
    
    +   括号中的排除：`^`
        
        ```
        grep "^[^a-Z]" 1.txt
        
        匹配不以a-Z开头的行，不包含空行
        ```
        

##### 扩展符号：默认grep、sed不能直接识别。grep需要加-E，sed需要加-r

+   `+`：匹配前一个字符一次或多次
    
    ```
    grep -E "0+" 1.txt
    ```
    
+   `|`：并且符号，用于匹配多个信息
    
    ```
    grep -E "oldboy|blog" 1.txt
    匹配oldboy或blog信息的数据
    ```
    
+   `()`： 指定信息进行整体匹配；进行后项引用前项使用
    
    +   批量创建用户
        
        ```
        echo oldboy{01..10} | xargs -n1 | sed -r 's#(.*)#useradd \1#g' | bash
        
        ehco oldboy{01..10}:一行输出oldboy01到oldboy10
        |xargs -1：将每一块变成一列一列
        |sed -r 's#(.*)#useradd \1#g':
        -r：识别高级正则符号
        s：substitute替换
        #要修改的内容#修改后的内容#：修改规则
        (.*)：一行的所有内容作为一个整体，也就是前项
        useradd \1：
        useradd：创建用户命令
        \1：调用前项，也就是(.*)匹配的内容
        |bash：执行命令 useradd .*
        ```
        
    +   批量创建并且修改密码
        
        ```
        seq -w 10 | sed -r 's#(.*)#useradd oldboy\1#g';echo 123456 | passwd --stdin oldboy\1 | bash
        
        seq -w 10:
        01
        02
        ...
        10
        
        |sed -r 's#(.*)#useradd oldboy\1#g':
        useradd oldboy01
        useradd oldboy02
        ...
        useradd oldboy10
        
        #要修改的内容#修改后的内容#：修改规则
        (.*)：一行的所有内容作为一个整体，也就是前项
        useradd \1：
        useradd：创建用户命令
        \1：调用前项，也就是(.*)匹配的内容
        ;:不管前面命令是否执行成功都执行后面的命令
        echo 123456 | pwsswd --stdin oldboy01:免交互设置密码
        |bash：执行命令 useradd .*
        ```
        
+   `{}`：指定字符连续匹配的次数
    
    ```
    x{n,m}：x字符至少出现n次，最多匹配m次
    grep -E "0{2,3}" 1.txt
    如果有连续的3个0，就会只匹配三个0
    如果有连续的5个0，就会先匹配3个在匹配2个。五个都会匹配出来
    
    x{n,}：最少匹配n次，最多不限制
    
    x{n}：指定匹配n次
    ```
    
+   `?`：匹配前一个字符出现0次或1次
    
    ```
    ifconfig | grep "([0-9]+\.?){4}" -0
    [0-9]出现了多次 .出现0次或一次。 这个整体匹配4次
    ```

Linux系统符号详解

## 如何在 Docker 容器中添加 SQL 用户

* * *

在本文中，我们将探讨在 Docker 容器中添加 SQL 用户所需的步骤。在 Docker 中使用数据库可以通过封装数据库环境来显著增强您的开发工作流程，使其可重现且易于管理。我们将介绍不同的 SQL 数据库类型，即 MySQL、PostgreSQL 和 Microsoft SQL Server （MSSQL），允许您根据您的工具套件进行选择。

## 在本教程中，您将学习：

+   如何在 Docker 化 SQL 环境中创建数据库。
+   如何将用户添加到指定的 SQL 数据库。
+   如何为创建的用户分配权限。

[![](https://cn.linux-console.net/common-images/how-to-add-a-sql-user-in-a-docker-container/00-how-to-add-a-sql-user-in-a-docker-container-image.avif)](https://cn.linux-console.net/common-images/how-to-add-a-sql-user-in-a-docker-container/00-how-to-add-a-sql-user-in-a-docker-container-image.avif)

## 软件要求和 Linux 命令行约定

## 如何在 Docker 容器中添加 SQL 用户

**DOCKER 和 SQL 数据库**  
您了解吗？在 Docker 中运行 SQL 数据库可以通过允许即时环境复制来提高开发效率，但对于生产环境，优化存储和网络对于性能和可靠性至关重要。

本节将提供在 Docker 容器中运行的不同 SQL 环境中创建数据库、添加用户和分配权限的分步说明。

## 逐例说明

1.  **MySQL：**在 [MySQL](https://cn.linux-terminal.com/?cat=mysql) Docker 容器中添加用户。
    
    ```
    Start a MySQL container
    docker run --name mysql-container -e MYSQL_ROOT_PASSWORD=yourpassword -d mysql
    
    Access the MySQL shell
    docker exec -it mysql-container mysql -u root -p
    
    Create a new database
    CREATE DATABASE mydatabase;
    
    Create a new user
    CREATE USER 'myuser'@'%' IDENTIFIED BY 'mypassword';
    
    Grant permissions to the user
    GRANT ALL PRIVILEGES ON mydatabase.* TO 'myuser'@'%';
    ```
    

在此示例中，我们首先运行 [MySQL](https://cn.linux-terminal.com/?cat=mysql) Docker 容器，然后创建一个名为 `mydatabase` 的数据库。之后，我们创建一个带有密码的用户 `myuser`，并授予该用户对先前创建的数据库的所有权限。

3.  **PostgreSQL：**在 PostgreSQL Docker 容器中添加用户。
    
    ```
    Start a PostgreSQL container
    docker run --name postgres-container -e POSTGRES_PASSWORD=yourpassword -d postgres
    
    Access the PostgreSQL shell
    docker exec -it postgres-container psql -U postgres
    
    Create a new database
    CREATE DATABASE mydatabase;
    
    Create a new user
    CREATE USER myuser WITH PASSWORD 'mypassword';
    
    Grant permissions to the user
    GRANT ALL PRIVILEGES ON DATABASE mydatabase TO myuser;
    ```
    

对于 PostgreSQL，我们遵循与 [MySQL](https://cn.linux-terminal.com/?cat=mysql) 中类似的过程。我们启动一个 PostgreSQL 容器，创建一个数据库，然后创建一个具有密码的用户 `myuser`，然后向该用户授予对指定数据库的所有权限。

5.  **MSSQL：**在 Microsoft SQL Server Docker 容器中添加用户。
    
    ```
    Step 1: Start an MSSQL container as root
    docker run -e 'ACCEPT_EULA=Y' -e 'SA_PASSWORD=Str0ngP@ssw0rd!' -p 1433:1433 \
       --name mssql-container --user root -d mcr.microsoft.com/mssql/server:latest
    
    Step 2: Enter the MSSQL container
    docker exec -it mssql-container bash
    
    Step 3: Update package lists and install sqlcmd
    apt update && apt install -y sqlcmd
    
    Step 4: Access the MSSQL shell using sqlcmd
    sqlcmd -S localhost -U SA -P 'Str0ngP@ssw0rd!'
    
    Step 5: Create a new database
    CREATE DATABASE mydatabase;
    GO
    
    Step 6: Create a new user with a strong password
    CREATE LOGIN myuser WITH PASSWORD = 'S3cur3P@ssword!';
    GO
    USE mydatabase;
    GO
    CREATE USER myuser FOR LOGIN myuser;
    GO
    
    Step 7: Grant db_owner permissions to the user
    ALTER ROLE db_owner ADD MEMBER myuser;
    GO
    ```
    

在此示例中，我们以 root 身份启动 MSSQL 容器，安装“sqlcmd”，然后创建一个数据库、一个用户，并授予他们`db_owner`角色，从而完全控制数据库。

## 结论

在本教程中，我们介绍了如何在 Docker 容器中为不同的数据库类型（包括 MySQL、PostgreSQL 和 MSSQL）添加 SQL 用户。这些步骤将帮助您在 Docker 化数据库环境中有效地管理用户。将用户权限保持在最低限度可增强安全性，同时为您的应用程序提供必要的访问权限。

## 常见问题 （FAQ）

1.  #### 我可以在同一台机器上运行多个 SQL 数据库容器吗？
    
    是的，只要每个容器都映射到主机上的唯一端口，就可以运行多个 SQL 数据库容器。
    
2.  #### 将我的数据库容器暴露在互联网上安全吗？
    
    将数据库容器暴露在 Internet 上可能会带来安全风险。强烈建议使用防火墙

如何在 Docker 容器中添加 SQL 用户

## 如何使用 docker-compose 将两个容器联网

* * *

联网是在 Docker 中使用容器的基本方面之一。使用 **Docker Compose**，您可以轻松连接多个容器并管理由多个服务组成的复杂应用程序。在本文中，我们将探讨如何使用 Docker Compose 有效地连接两个容器。最后，您将清楚地了解如何在配置中定义网络并实现服务之间的无缝通信。

## 在本教程中，您将学习：

+   如何在 `docker-compose.yml` 文件中定义网络
+   如何将多个服务连接到同一网络
+   使用 Docker 网络进行容器通信的好处

[![](https://cn.linux-console.net/common-images/how-to-network-connect-two-containers-with-docker-compose/00-how-to-network-connect-two-containers-with-docker-compose-image.avif)](https://cn.linux-console.net/common-images/how-to-network-connect-two-containers-with-docker-compose/00-how-to-network-connect-two-containers-with-docker-compose-image.avif)

## 软件要求和 Linux 命令行约定

## 如何使用 docker-compose 连接两个容器

**了解 DOCKER 网络**  
在 Docker Compose 中正确定义网络对于容器通信至关重要。同一网络上的容器可以仅使用其服务名称进行通信。

在 Docker Compose 中连接容器涉及创建一个 `docker-compose.yml` 文件，该文件指定服务和它们将通过其进行通信的网络。让我们深入了解设置。

## 分步说明

1.  **创建 docker-compose.yml 文件**：首先创建一个新目录并在其中创建一个 `docker-compose.yml` 文件。
    
    ```
    mkdir my_project && cd my_project
    ```
    
    ```
    touch docker-compose.yml
    ```
    
    此文件将定义应用程序的服务和网络。
    
2.  **定义您的服务**：打开 `docker-compose.yml` 文件并定义要连接的服务。您有两种联网选项：使用**显式网络**或允许 Docker 创建**默认网络**。  
    
    #### 选项 1：显式网络
    
    此方法通过显式定义名为 `my_network` 的自定义网络，使您可以更好地控制网络。
    
    ```
    version: '3'
    services:
      web:
        image: nginx
        networks:
          - my_network
      db:
        image: mysql:5.7
        environment:
          MYSQL_ROOT_PASSWORD: example
        networks:
          - my_network
    networks:
      my_network:
    ```
    
    在此设置中：
    
    +   显式创建自定义网络`my_network`。
    +   `Web` 和 `db` 服务都附加到 `my_network`。
    +   这会将服务与其他容器隔离开来，除非它们被手动添加到同一网络。
    
    #### 选项 2：默认网络（自动创建）
    
    如果未定义网络，Docker Compose 会自动创建一个名为 `your_project_default` 的网络。容器仍然可以使用服务名称进行通信。
    
    ```
    version: '3'
    services:
      web:
        image: nginx
      db:
        image: mysql:5.7
        environment:
          MYSQL_ROOT_PASSWORD: example
    ```
    
    在此设置中：
    
    +   Docker Compose 会自动创建一个名为 `your_project_default` 的网络。
    +   `Web` 和 `db` 都连接到此默认网络。
    +   容器仍然可以使用服务名称（例如 `db`）进行通信。
    
    #### 显式网络和默认网络之间的主要区别
    
    | 特征 | 显式网络 | 默认网络 |
    | --- | --- | --- |
    | 网络名称 | 用户定义（例如，`my_network`） | 自动创建 （`your_project_default`） |
    | 服务名称解析 | 是的 | 是的 |
    | 多个网络 | 是（可以将服务分配给多个网络） | 否（所有服务都位于一个默认网络中） |
    | 隔离 | 是（只有同一自定义网络中的容器可以通信） | 是（只有同一项目中的容器进行通信） |
    | 需要手动清理？ | 是（容器停止时删除网络） | 是（容器停止时删除默认网络） |
    
    #### 您应该选择哪个选项？
    
    +   如果您需要更好的网络管理、多个网络或服务隔离，请使用**显式网络**。
    +   如果所有服务都应在同一项目中自动通信，而无需额外配置，请使用**默认网络**。
3.  **运行 Docker Compose 设置**：`docker-compose.yml` 文件就位后，使用以下命令启动您的服务。
    
    ```
    docker-compose up -d
    ```
    

此命令以分离模式启动您的服务，允许它们在后台运行。

5.  **测试容器通信**：要查看容器是否可以通信，您可以输入 Web 容器并使用其服务名称对数据库容器执行 ping作。
    
    ```
    docker exec -it my_project_web_1 /bin/bash
    ```
    
    然后在 docker 容器内运行：
    
    ```
    root@container:/# apt update && apt install -y iputils-ping
    root@container:/# ping db
    ```
    
    [![](https://cn.linux-console.net/common-images/how-to-network-connect-two-containers-with-docker-compose/01-how-to-network-connect-two-containers-with-docker-compose-image.avif)](https://cn.linux-console.net/common-images/how-to-network-connect-two-containers-with-docker-compose/01-how-to-network-connect-two-containers-with-docker-compose-image.avif)
    

**常见最佳实践**  
始终使用特定的服务名称，以确保配置清晰并避免潜在冲突。

## 结论

使用 Docker Compose 连接容器是一个简单的过程，可以增强应用程序中服务之间的通信。通过使用 Docker 网络，您可以确保您的服务在逻辑上分组，并且可以相互有效通信。本教程提供了设置基本 Web 和数据库服务连接的实际示例。随着您构建更复杂的应用程序，了解这些网络概念将至关重要。

## 常见问题 （FAQ）

1.  #### 什么是 Docker Compose？
    
    Docker Compose 是用于定义和运行多容器 Docker 应用程序的工具。它允许您在单个文件中配置应用程序的服务。
    
2.  #### 如何从其他容器访问服务？
    
    您可以使用 `docker-compose.yml` 文件中定义的服务名称作为主机名从另一个容器访问服务。
    
3.  #### 我可以将一个容器连接到多个网络吗？
    
    是的，您可以通过在服务定义中指定其他网络，将单个容器连接到多个网络。
    
4.  #### 如果我不定义网络会怎样？
    
    如果您未定义网络，Docker 将为您的容器创建一个默认的桥接网络，但它是

如何使用 docker-compose 将两个容器联网

## 在 Linux 上启动 Docker 守护程序

* * *

Docker 是一个流行的容器化平台，开发人员和系统管理员使用它来在隔离环境中构建、交付和运行应用程序。要使 Docker 在 Linux 系统上正常运行，Docker 守护程序必须正在运行。本教程介绍了在 Linux 发行版上启动 Docker 守护程序并确保它在引导时自动启动的各种方法。

## 在本教程中，您将学习：

+   如何手动启动 Docker 守护程序
+   如何将 Docker 配置为在启动时自动启动
+   如何检查 Docker 守护进程状态
+   如何排查常见的 Docker 守护程序启动问题

[![](https://cn.linux-console.net/common-images/start-docker-daemon-on-linux/00-start-docker-daemon-image.avif)](https://cn.linux-console.net/common-images/start-docker-daemon-on-linux/00-start-docker-daemon-image.avif)

## 软件要求和 Linux 命令行约定

## 在 Linux 上启动 Docker 守护程序

**重要说明**  
启动 Docker 守护程序的方法可能略有不同，具体取决于您的 Linux 发行版和 init 系统（systemd、SysVinit、Upstart）。本教程介绍了最常见的方法。

Docker 守护程序 （dockerd） 是管理 Linux 系统上容器的持久性进程。启动和管理此守护程序对于使用 Docker 容器和映像至关重要。让我们探索在 Linux 系统上控制 Docker 守护进程的各种方法。

## 如何启动、启用和重启 docker 守护进程示例

1.  **使用 systemd 启动 Docker 守护程序**：大多数现代 Linux 发行版都使用 systemd 作为其 init 系统。
    
    ```
    sudo systemctl start docker
    ```
    

此命令立即启动 Docker 守护程序。如果服务成功启动，则不会有输出。您可以使用步骤 3 中描述的 status 命令验证服务是否正在运行。

3.  **启用 Docker 在启动时启动**：确保 Docker 在系统启动时自动启动。
    
    ```
    sudo systemctl enable docker
    ```
    

此命令创建必要的符号链接，以便在系统启动期间启动 Docker。您应该会看到指示符号链接已成功创建的输出。

5.  **检查 Docker 守护程序状态**：验证 Docker 守护程序是否正常运行。
    
    ```
    sudo systemctl status docker
    ```
    

此命令显示 Docker 服务的当前状态，包括它是否处于活动状态（正在运行）、启动时启用以及最近的日志条目。查找 “Active： active （running）” 以确认守护程序正常运行。

7.  **在较旧的发行版 （SysVinit） 上启动 Docker**：适用于使用较旧的 SysVinit 系统的 Linux 发行版。
    
    ```
    sudo service docker start
    ```
    

此命令在使用 SysVinit 的系统上启动 Docker 守护程序。同样，您可以使用 “service docker status” 来检查它是否正在运行。

9.  **手动启动 Docker 守护程序**：在极少数情况下，您可能需要直接启动守护程序。
    
    ```
    sudo dockerd
    ```
    
    此命令在前台启动 Docker 守护程序。请注意，这将向终端显示所有日志，如果您关闭终端，该过程将停止。此方法主要用于调试目的。
    
    [![](https://cn.linux-console.net/common-images/start-docker-daemon-on-linux/01-start-docker-daemon-image.avif)](https://cn.linux-console.net/common-images/start-docker-daemon-on-linux/01-start-docker-daemon-image.avif)
    
10.  **重启 Docker 守护进程**：如果你在进行配置更改后需要重启 Docker 服务。
    
    ```
    sudo systemctl restart docker
    ```
    

此命令将停止，然后启动 Docker 守护程序，并应用您对 Docker 守护程序配置文件所做的任何配置更改。

**排查 DOCKER 守护程序问题**  
如果 Docker 无法启动，请使用以下命令检查系统日志中的错误：  
`journalctl -u docker.service`（在基于 systemd 的系统上）或`更少的 /var/log/docker.log` 在其他一些发行版上。常见问题包括权限问题、端口冲突或存储驱动程序问题。

## 结论

启动和管理 Docker 守护程序是在 Linux 上使用容器的一项基本技能。使用“systemctl start docker”和“systemctl enable docker”等 systemd 命令是现代 Linux 发行版最常用的方法。请记住，Docker 命令需要 root 权限或属于 docker 组的具有 sudo 访问权限的用户。如果您遇到问题，请检查服务状态和系统日志应提供解决问题所需的信息。

## 常见问题 （FAQ）

1.  #### 如何停止 Docker 守护进程？
    
    要停止 Docker 守护程序，请在基于 systemd 的发行版上使用命令 `sudo systemctl stop docker`，或在基于 SysVinit 的系统上使用命令 `sudo service docker stop`。请注意，停止守护程序将终止所有正在运行的容器，除非您已使用重启策略配置了它们。
    
2.  #### 为什么 Docker 安装后启动不了？
    
    常见原因包括缺少依赖项、与其他容器技术（如 podman 或 LXC）冲突、文件权限不正确或系统资源不足。使用 `journalctl -u docker.service` 检查系统日志以识别特定错误。确保您的用户位于 “docker” 组中，并且在将用户添加到该组后，您已注销并重新登录。
    
3.  #### 如何修改 Docker 守护进程配置？
    
    Docker 守护程序配置通过 `/etc/docker/daemon.json` 文件进行管理。您可以在此 JSON 文件中指定默认存储驱动程序、注册表镜像或网络设置等选项。进行更改后，使用 `sudo systemctl restart docker` 重新启动守护进程以应用它们。如果配置更改后守护程序无法启动，请检查 JSON 文件的语法。
    
4.  #### 我可以在没有 root 权限的情况下运行 Docker 吗？
    
    可以，但您需要将用户添加到 “docker” 组。运行 `sudo usermod -aG docker $USER`，然后注销并重新登录以使更改生效。Docker 守护程序本身以 root 权限运行，但 docker 组中的用户可以与之交互，而无需对每个命令使用 sudo。
    
5.  #### docker' 和 'dockerd' 命令有什么区别？
    
    `docker` 命令是向 Docker 守护程序发送命令的客户端实用程序。`dockerd` 命令直接启动 Docker 守护进程。普通用户通常只使用 docker client 命令，而系统管理员可能需要使用 dockerd 进行高级配置或故障排除。