You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

serder.go 6.4 kB

1 year ago
10 months ago
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268
  1. package serder
  2. import (
  3. "bytes"
  4. "encoding/json"
  5. "fmt"
  6. "io"
  7. "reflect"
  8. "strings"
  9. jsoniter "github.com/json-iterator/go"
  10. "github.com/mitchellh/mapstructure"
  11. )
  12. var unionHandler = UnionHandler{
  13. internallyTagged: make(map[reflect.Type]*anyTypeUnionInternallyTagged),
  14. externallyTagged: make(map[reflect.Type]*anyTypeUnionExternallyTagged),
  15. }
  16. var defaultAPI = func() jsoniter.API {
  17. api := jsoniter.Config{
  18. EscapeHTML: true,
  19. }.Froze()
  20. api.RegisterExtension(&unionHandler)
  21. return api
  22. }()
  23. // 将对象转为JSON字符串。支持TypeUnion。
  24. func ObjectToJSONEx[T any](obj T) ([]byte, error) {
  25. buf := new(bytes.Buffer)
  26. enc := defaultAPI.NewEncoder(buf)
  27. // 这里使用&obj而直接不使用obj的原因是,Encode的形参类型为any,
  28. // 如果T是一个interface类型,将obj传递进去后,内部拿到的类型将会是obj的实际类型,
  29. // 使用&obj,那么内部拿到的将会是*T类型,通过一层一层解引用查找Encoder时,能找到T对应的TypeUnion
  30. err := enc.Encode(&obj)
  31. if err != nil {
  32. return nil, err
  33. }
  34. return buf.Bytes(), nil
  35. }
  36. // 将JSON字符串转为对象。支持TypeUnion。
  37. func JSONToObjectEx[T any](data []byte) (T, error) {
  38. var ret T
  39. dec := defaultAPI.NewDecoder(bytes.NewReader(data))
  40. err := dec.Decode(&ret)
  41. if err != nil {
  42. return ret, err
  43. }
  44. return ret, nil
  45. }
  46. // 将JSON字符串转为对象。支持TypeUnion。
  47. func JSONToObjectExRaw(data []byte, ret any) error {
  48. dec := defaultAPI.NewDecoder(bytes.NewReader(data))
  49. err := dec.Decode(&ret)
  50. if err != nil {
  51. return err
  52. }
  53. return nil
  54. }
  55. // 将JSON字符串转为对象。支持TypeUnion。
  56. //
  57. // 如果发现反序列化后的结果不对,但没有返回错误,可以考虑是JSON字符串有问题,
  58. // 尤其是在反序列化嵌套的TypeUnion时,如果内部的TypeUnion反序列化失败,错误是不会传递出来的(库的缺陷)
  59. func JSONToObjectStreamEx[T any](stream io.Reader) (T, error) {
  60. var ret T
  61. dec := defaultAPI.NewDecoder(stream)
  62. err := dec.Decode(&ret)
  63. if err != nil {
  64. return ret, err
  65. }
  66. return ret, nil
  67. }
  68. // 将对象转为JSON字符串。如果需要支持解析TypeUnion类型,则使用"Ex"结尾的同名函数。
  69. //
  70. // 注:[]byte会被base64编码,如果要JSON内容要给外部解析,那么应该避免使用[]byte。
  71. func ObjectToJSON(obj any) ([]byte, error) {
  72. return json.Marshal(obj)
  73. }
  74. // 将对象转为JSON字符串。如果需要支持解析TypeUnion类型,则使用"Ex"结尾的同名函数。
  75. func ObjectToJSONStream(obj any) io.ReadCloser {
  76. pr, pw := io.Pipe()
  77. enc := json.NewEncoder(pw)
  78. go func() {
  79. err := enc.Encode(obj)
  80. if err != nil && err != io.EOF {
  81. pw.CloseWithError(err)
  82. } else {
  83. pw.Close()
  84. }
  85. }()
  86. return pr
  87. }
  88. // 将JSON字符串转为对象。如果需要支持解析TypeUnion类型,则使用"Ex"结尾的同名函数。
  89. func JSONToObject(data []byte, obj any) error {
  90. return json.Unmarshal(data, obj)
  91. }
  92. // 将JSON字符串转为对象。如果需要支持解析TypeUnion类型,则使用"Ex"结尾的同名函数。
  93. func JSONToObjectStream(str io.Reader, obj any) error {
  94. dec := json.NewDecoder(str)
  95. err := dec.Decode(obj)
  96. if err != io.EOF {
  97. return err
  98. }
  99. return nil
  100. }
  101. type TypeResolver interface {
  102. TypeToString(typ reflect.Type) (string, error)
  103. StringToType(typeStr string) (reflect.Type, error)
  104. }
  105. type MapToObjectOption struct {
  106. NoRegisteredUnionTypes bool // 是否不使用全局注册的UnionType
  107. }
  108. // TODO 使用这个函数来处理TypeUnion的地方都可以直接使用Ex系列的函数
  109. func MapToObject(m map[string]any, obj any, opt ...MapToObjectOption) error {
  110. var op MapToObjectOption
  111. if len(opt) > 0 {
  112. op = opt[0]
  113. }
  114. unionTypeMapping := make(map[reflect.Type]*anyTypeUnionInternallyTagged)
  115. if !op.NoRegisteredUnionTypes {
  116. for _, u := range unionHandler.internallyTagged {
  117. unionTypeMapping[u.Union.UnionType] = u
  118. }
  119. }
  120. convs := []Converter{
  121. func(from reflect.Value, to reflect.Value) (interface{}, error) {
  122. toType := to.Type()
  123. info, ok := unionTypeMapping[toType]
  124. if !ok {
  125. return from.Interface(), nil
  126. }
  127. mp := from.Interface().(map[string]any)
  128. tag, ok := mp[info.TagField]
  129. if !ok {
  130. return nil, fmt.Errorf("converting to %v: no tag field %s in map", toType, info.TagField)
  131. }
  132. tagStr, ok := tag.(string)
  133. if !ok {
  134. return nil, fmt.Errorf("converting to %v: tag field %s value is %v, which is not a string", toType, info.TagField, tag)
  135. }
  136. eleType, ok := info.TagToType[tagStr]
  137. if !ok {
  138. return nil, fmt.Errorf("converting to %v: unknow type tag %s", toType, tagStr)
  139. }
  140. to.Set(reflect.New(eleType).Elem())
  141. return from.Interface(), nil
  142. },
  143. }
  144. return AnyToAny(m, obj, AnyToAnyOption{
  145. Converters: convs,
  146. })
  147. }
  148. func ObjectToMap(obj any) (map[string]any, error) {
  149. mp := make(map[string]any)
  150. dec, err := mapstructure.NewDecoder(&mapstructure.DecoderConfig{
  151. TagName: "json",
  152. Result: &mp,
  153. })
  154. if err != nil {
  155. return nil, err
  156. }
  157. return mp, dec.Decode(obj)
  158. }
  159. // 1. 尝试解开所有引用
  160. //
  161. // 2. nil值将会是空字符串
  162. func ObjectToMapString(obj any) (map[string]string, error) {
  163. if obj == nil {
  164. return make(map[string]string), nil
  165. }
  166. v := reflect.ValueOf(obj)
  167. for v.Kind() == reflect.Ptr {
  168. v = v.Elem()
  169. }
  170. if !v.IsValid() {
  171. return make(map[string]string), nil
  172. }
  173. if v.Kind() != reflect.Struct {
  174. return nil, fmt.Errorf("type %v is not a struct", v.Type())
  175. }
  176. mp := make(map[string]string)
  177. objectToMapString(v, mp)
  178. return mp, nil
  179. }
  180. func objectToMapString(val reflect.Value, mp map[string]string) {
  181. typ := val.Type()
  182. for i := 0; i < val.NumField(); i++ {
  183. vf := val.Field(i)
  184. tf := typ.Field(i)
  185. if tf.Anonymous {
  186. objectToMapString(vf, mp)
  187. continue
  188. }
  189. fieldName := tf.Name
  190. omitEmpty := false
  191. jsonTag := tf.Tag.Get("json")
  192. if jsonTag != "" {
  193. tagParts := strings.Split(jsonTag, ",")
  194. fieldName = strings.TrimSpace(tagParts[0])
  195. if len(tagParts) > 1 {
  196. for _, tagPart := range tagParts[1:] {
  197. tagPart = strings.TrimSpace(tagPart)
  198. if tagPart == "omitempty" {
  199. omitEmpty = true
  200. }
  201. }
  202. }
  203. }
  204. for vf.Kind() == reflect.Ptr {
  205. vf = vf.Elem()
  206. }
  207. if !vf.IsValid() {
  208. if omitEmpty {
  209. continue
  210. }
  211. mp[fieldName] = ""
  212. continue
  213. }
  214. if vf.IsZero() && omitEmpty {
  215. continue
  216. }
  217. if vf.Kind() == reflect.Array {
  218. }
  219. mp[fieldName] = fmt.Sprintf("%v", vf)
  220. }
  221. }