前段时间发表了 Go中的HTTP请求之——HTTP1.1请求流程分析 ，所以这两天本来打算研究HTTP2.0的请求源码，结果发现太复杂就跑去逛知乎了，然后就发现了一个非常有意思的提问“golang 特殊字符的string怎么转成[]byte?”。为了转换一下心情， 便有了此篇文章。

原问题我就不码字了，直接上图：

看到问题，我的第一反应是ASCII码值范围应该是 0~127 呀，怎么会超过127呢？直到实际运行的时候才发现上图的特殊字符是‘’（如果无法展示，记住该特殊字符的unicode是 \u0081 ），并不是英文中的句号。

unicode和utf-8的恩怨纠葛

百度百科已经把unicode和utf-8介绍的很详细了，所以这里就不做过多的阐述，仅摘抄部分和本文相关的定义：

go中的字符

众所周知，go中能表示字符的有两种类型，分别是 byte 和 rune ，byte和rune的定义分别是： type byte = uint8 和 type rune = int32 。

uint8范围是0-255，只能够表示有限个unicode字符，超过255的范围就会编译报错。根据上述关于unicode的定义，4字节的rune完全兼容两字节的unicode。

我们用下面的代码来验证：

var (
		c1 byte = 'a'
		c2 byte = '新'
		c3 rune = '新'
	fmt.Println(c1, c2, c3)

上述的程序根本无法运行，因为第二行编译会报错，vscode给到了十分详细的提示： '新' (untyped rune constant 26032) overflows byte 。

接下来，我们通过下面的代码来验证 字符 和 unicode 和整型的等价关系：

	fmt.Printf("0x%x, %d\n", '', '') //输出：0x81, 129
	fmt.Println(0x81 == '', '\u0081' == '', 129 == '') // 输出：true true true
	//\u0081输出到屏幕上后不展示， 所以换了大写字母A来输出
	fmt.Printf("%c\n", 65) // 输出：A

根据上面的代码输出的3个 true 可以知道， 字符和unicode和整形是等价 ，并且整型也能转回字符的表现形式。

go中的字符串是utf8编码的

根据golang官方博客 https://blog.golang.org/strings 的原文：

翻译整理过来其实也就是两点：

有了前面的基础知识和字符串是一个标准的utf8序列这一结论后我们接下来对字符串“”（如果无法展示，记住该特殊字符的unicode是 \u0081 ）手动编码。

Unicode到UTF-8的编码方对照表：

字符‘’（如果无法展示，记住该特殊字符的unicode是 \u0081 ）的二进制表示为 10000001 ，16进制表示为 0x81 。

根据unicode转utf8的对照表，0x7f < 0x81 < 0x7ff，所以此特殊字符需占两个字节，并且要套用的utf8模版是 110xxxxx 10xxxxxx 。

我们按照下面的步骤对 10000001 转为utf8的二进制序列：

第一步：根据x数量对特殊字符的高位补0。x的数量是11，所以需要对特殊字符的高位补3个0，此时特殊字符的二进制表示为： 00010000001 。

第二步：x有两个部分，且长度分别是5和6，所以对 00010000001 由底位向高位分别截取6位和5位，得到 000001 和 00010 。

第三步：将 000001 和 00010 由低位向高位填充至模版 110xxxxx 10xxxxxx ，可得到utf8的二进制序列为： 11000010 10000001 。

我们通过go对二进制转为整型：

fmt.Printf("%d, %d\n", 0b11000010, 0b10000001)
// 输出：194, 129

综上 ：当用字符转字节时输出的是字符本身的整型值，当用字符串转字节切片时，实际上是输出的是utf8的字节切片序列(go中的字符串存储的就是utf8字节切片)。此时，我们回顾一下最开始的问题，就会发现输出是完全符合预期的。

go中的rune

笔者在这里猜测提问者期望的结果是“字符串转字节切片和字符转字节的结果保持一致”，这时 rune 就派上用场了，我们看看使用rune的效果：

fmt.Println([]rune(""))
// 输出：[129]

由上可知用rune切片去转字符串时，它是直接将每个字符转为对应的unicode。

我们通过下面的代码模拟字符串转为[]rune切片和[]rune切片转为字符串的过程：

字符串转为rune切片:

    // 字符串直接转为[]rune切片
	for _, v := range []rune("新世界杂货铺") {
		fmt.Printf("%x ", v)
	fmt.Println()
	bs := []byte("新世界杂货铺")
	for len(bs) > 0 {
		r, w := utf8.DecodeRune(bs)
		fmt.Printf("%x ", r)
		bs = bs[w:]
	fmt.Println()
	// 输出:
	// 65b0 4e16 754c 6742 8d27 94fa
	// 65b0 4e16 754c 6742 8d27 94fa

上述代码中 utf8.DecodeRune 的作用是通过传入的utf8字节序列转为一个rune即unicode。

rune切片转为字符串:

    // rune切片转为字符串
	rs := []rune{0x65b0, 0x4e16, 0x754c, 0x6742, 0x8d27, 0x94fa}
	fmt.Println(string(rs))
	utf8bs := make([]byte, 0)
	for _, r := range rs {
		bs := make([]byte, 4)
		w := utf8.EncodeRune(bs, r)
		utf8bs = append(utf8bs, bs[:w]...)
	fmt.Println(string(utf8bs))
	// 输出:
	// 新世界杂货铺
	// 新世界杂货铺

上述代码中 utf8.EncodeRune 的作用是将一个rune转为utf8字节序列。

综上 ：对于无法确定字符串中仅有单字节的字符的情况， 请使用 rune ，每一个rune类型代表一个unicode字符，并且它可以和字符串做无缝切换。

理解go中的字符串其实是字节切片

前面已经提到了字符串能够存储任意字节数据，而且是一个标准的utf8格式的字节切片。那么本节将会通过代码来加深印象。

	fmt.Println([]byte("新世界杂货铺"))
	s := "新世界杂货铺"
	for i := 0; i < len(s); i++ {
		fmt.Print(s[i], " ")
	fmt.Println()
	// 输出：
	// [230 150 176 228 184 150 231 149 140 230 157 130 232 180 167 233 147 186]
	// 230 150 176 228 184 150 231 149 140 230 157 130 232 180 167 233 147 186

由上述的代码可知，我们通过游标按字节访问字符串得到的结果和字符串转为字节切片是一样的，因此可以再次确认字符串和字节切片是等价的。

通常情况下我们的字符串都是标准utf8格式的字节切片，但这并不是说明字符串只能存储utf8格式的字节切片， go中的字符串可以存储任意的字节数据 。

	bs := []byte([]byte("新"))
	for i := 0; i < len(bs); i++ {
		fmt.Printf("0x%x ", bs[i])
	fmt.Println()
	fmt.Println("\xe6\x96\xb0")
	fmt.Println("\xe6\x96\xb0世界杂货铺" == "新世界杂货铺")
	fmt.Println('\u65b0' == '新')
	fmt.Println("\u65b0世界杂货铺" == "新世界杂货铺")
	// 输出:
	// 0xe6 0x96 0xb0 
    // true
    // true
    // true