Gen 0: 187\nGen 1: 72 \nGen 3: 11 \nTempo: 13179ms \nMem\u00f3ria: 590mb \n<\/code><\/pre>\nMeu objetivo agora era parar de ficar perdendo tempo re-processando todos os mods, n\u00e3o fazia sentido.<\/p>\n
H\u00e1 v\u00e1rias solu\u00e7\u00f5es que podemos aplicar, a mais simples “pra mim”, seria utilizar um Helper que fiz pra SqlLite <\/a> sendo assim eu iria facilitar e muito a quantidade de c\u00f3digo que eu escreveria.<\/p>\nPrimeiro problema<\/h2>\n
<\/p>\n
Fui percebendo que estava fazendo uma itera\u00e7\u00e3o desnecess\u00e1ria, pois eu j\u00e1 estava carregando os dados do Mod na mem\u00f3ria, depois de terminar de ler tudo eu iterava de novo s\u00f3 pra identificar as modifica\u00e7\u00f5es… mas isso \u00e9 redundante e o resultado era apenas ter o valor “Old”.<\/p>\n
Por\u00e9m como os mods podem ser re-ordenados o “Old” se mudar\u00e1 conforme o contexto, logo… \u00e9 uma informa\u00e7\u00e3o in\u00fatil.<\/p>\n
Resultado: Remo\u00e7\u00e3o desses c\u00f3digo in\u00fateis.<\/p>\n
Segundo problema<\/h2>\n
Eu estava usando minha Library ent\u00e3o, o passo mais simples seria abrir uma connection com o banco e ir salvando no DB, algo como:<\/p>\n
var db = new DataService();\n db.Insert(query, parametros);\n<\/code><\/pre>\nsim… \u00e9 s\u00f3 isso<\/p>\n
o \u00fanico problema \u00e9 que n\u00e3o estou inserindo 10 itens, e sim mais de 500K, ent\u00e3o meio que ele ficou processando por mais de 1 hora e n\u00e3o havia terminado (eu dei uma pausa pra descansar, ele ficou processando enquanto isso)<\/del> logo precisava efetuar otimiza\u00e7\u00f5es… (que novidade :x)<\/del><\/p>\nMas eu j\u00e1 esperava isso, eu havia encontrado uma forma eficiente em SqlLite que itera e insere os dados, um dia eu posto mais detalhes (talvez)\n<\/code><\/pre>\no c\u00f3digo no final ficou:<\/p>\n
static Dictionary[] List = new Dictionary[5000];\n static int lastIndex = 0;\n public static void AddToList(int id, ItemType type, string key, string name, string empty, string flag2, State state)\n {\n\n List[lastIndex] = new Dictionary(7)\n { { \"ModId\", id },\n {\"Type\" , type },\n {\"Section\" , key },\n {\"Key\" , name },\n {\"OldVal\" , string.Empty },\n {\"NewVal\" , flag2 },\n {\"State\" , state },\n };\n lastIndex++;\n if (lastIndex > 5000)\n {\n var db = new DataService();\n\n db.InsertBatch(@\"INSERT INTO ModChange (\n ModId,\n Type,\n Section,\n [Key],\n OldVal,\n NewVal,\n State\n )\n VALUES (\n :ModId,\n :Type,\n :Section,\n :Key,\n :OldVal,\n :NewVal,\n :State\n )\", List.Take(lastIndex));\n List = new Dictionary[5000];\n lastIndex = 0;\n\n\n }\n }\n<\/code><\/pre>\nBom um pouquinho grande, mas d\u00e1 pra entender, eu coloquei cada batch pra 5k de registro, me parecia ser suficiente, mas vamos ver como ficou o resultado no GC?\n<\/code><\/pre>\n![\"\"](\"https:\/\/millerdantas.com\/blog\/wp-content\/uploads\/2021\/03\/wp_editor_md_33093588a476d1327ba0480a9458684f.jpg\")
<\/a>
\n\u00c9… mais uma vez aumentamos a quantidade de varreduras do GC, mas o que podemos fazer pra resolver isso?<\/p>\nN\u00f3s estamos criando uma lista de dictionary, que depois ser\u00e1 criado transformado em uma lista de parameters conforme o c\u00f3digo aqui<\/a><\/p>\nvamos resolver isso criando uma lista de parameters.<\/p>\n
static SQLiteParameter[][] List = new SQLiteParameter[12000][];\n static int lastIndex = 0;\n public static void AddToList(int id, ItemType type, string key, string name, string empty, string flag2, State state)\n {\n if (lastIndex == 12000)\n {\n UpdateDatabase();\n }\n\n\n List[lastIndex] = new SQLiteParameter[7] {\n new SQLiteParameter(\"ModId\", id),\n new SQLiteParameter(\"Type\", type),\n new SQLiteParameter(\"Section\", key),\n new SQLiteParameter(\"Key\", name),\n new SQLiteParameter(\"OldVal\", empty),\n new SQLiteParameter(\"NewVal\", flag2),\n new SQLiteParameter(\"State\", state)\n };\n\n lastIndex++;\n\n\n\n }\n\n public static void UpdateDatabase()\n {\n var db = new DataService();\n var query = @\"(..query..)\";\n\n using (var connection = new SQLiteConnection($\"Data Source={DataService.DbLocation}; Version=3;\"))\n {\n connection.Open();\n using (var transaction = connection.BeginTransaction())\n using (var command = connection.CreateCommand())\n {\n command.Prepare();\n command.CommandText = query;\n\n foreach (var item in List.Take(lastIndex))\n {\n command.Parameters.AddRange(item);\n command.ExecuteNonQuery();\n }\n\n transaction.Commit();\n }\n }\n\n lastIndex = 0;\n }\n<\/code><\/pre>\nresultado:
\n![\"\"](\"https:\/\/millerdantas.com\/blog\/wp-content\/uploads\/2021\/03\/wp_editor_md_b76b013910a5d3c0de3dfc2ede1468c3.jpg\")
<\/a><\/p>\no resultado pra mim \u00e9 simb\u00f3licamente o mesmo, mas por que ser\u00e1 que n\u00e3o houve melhora?<\/p>\n
existem duas coisas que pioram a vida:
\n– GC sendo executado com frequ\u00eancia porque tem objeto que n\u00e3o est\u00e1 sendo usado.
\n– Alocar algo na mem\u00f3ria tem seu custo..<\/p>\n
mas e se n\u00e3o criarmos mais objetos que precisamos usar?<\/p>\n
bom, fiz a adequa\u00e7\u00e3o no c\u00f3digo<\/p>\n
static SQLiteParameter[][] List = new SQLiteParameter[5000][];\n static int lastIndex = 0;\n public static void AddToList(int id, ItemType type, string key, string name, string empty, string flag2, State state)\n {\n if (lastIndex == 5000)\n {\n UpdateDatabase();\n }\n\n\n if (List[lastIndex] == null)\n {\n List[lastIndex] = new SQLiteParameter[7] {\n new SQLiteParameter(\"ModId\", id),\n new SQLiteParameter(\"Type\", type),\n new SQLiteParameter(\"Section\", key),\n new SQLiteParameter(\"Key\", name),\n new SQLiteParameter(\"OldVal\", empty),\n new SQLiteParameter(\"NewVal\", flag2),\n new SQLiteParameter(\"State\", state)\n };\n }\n else\n {\n List[lastIndex][0].Value = id;\n List[lastIndex][1].Value = type;\n List[lastIndex][2].Value = key;\n List[lastIndex][3].Value = name;\n List[lastIndex][4].Value = empty;\n List[lastIndex][5].Value = flag2;\n List[lastIndex][6].Value = state;\n }\n\n lastIndex++;\n\n\n\n }\n\n public static void UpdateDatabase()\n {\n var db = new DataService();\n var query = @\"INSERT INTO ModChange (\n ModId,\n Type,\n Section,\n [Key],\n OldVal,\n NewVal,\n State\n )\n VALUES (\n :ModId,\n :Type,\n :Section,\n :Key,\n :OldVal,\n :NewVal,\n :State\n )\";\n\n using (var connection = new SQLiteConnection($\"Data Source={DataService.DbLocation}; Version=3;\"))\n {\n connection.Open();\n using (var transaction = connection.BeginTransaction())\n using (var command = connection.CreateCommand())\n {\n command.Prepare();\n command.CommandText = query;\n\n foreach (var item in List.Take(lastIndex))\n {\n command.Parameters.AddRange(item);\n command.ExecuteNonQuery();\n }\n\n transaction.Commit();\n }\n }\n\n lastIndex = 0;\n }\n<\/code><\/pre>\nresultado:
\n![\"\"](\"https:\/\/millerdantas.com\/blog\/wp-content\/uploads\/2021\/03\/wp_editor_md_27f3c57dcad3654fe06d0898218731e9.jpg\")
<\/a><\/p>\nVou encerrar por aqui,
\nmas para nossa TODO list temos:
\n– Processar somente os arquivos novos.
\n– implementar o carregamento de conflitos no frontend on-demand
\n– remover mais campos que n\u00e3o usamos pra ter mais efici\u00eancia.
\n– revalidar partes do c\u00f3digo que s\u00f3 s\u00e3o sujeira.<\/p>\n
Bom \u00e9 isso, at\u00e9 o pr\u00f3ximo post<\/p>\n
Esteja curioso!<\/p>\n","protected":false},"excerpt":{"rendered":"
Onde paramos mesmo? Em nosso \u00faltimo Snapshot tivemos esse resultado Gen 0: 187 Gen 1: 72 Gen 3: 11 Tempo: 13179ms Mem\u00f3ria: 590mb Meu objetivo agora era parar de ficar perdendo tempo re-processando todos os mods, n\u00e3o fazia sentido. H\u00e1 v\u00e1rias solu\u00e7\u00f5es que podemos aplicar, a mais simples “pra mim”, seria utilizar um Helper que … Continue lendo Otimizando o KMM – Parte 1<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-576","post","type-post","status-publish","format-standard","hentry","category-programacao"],"_links":{"self":[{"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/posts\/576","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/comments?post=576"}],"version-history":[{"count":8,"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/posts\/576\/revisions"}],"predecessor-version":[{"id":596,"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/posts\/576\/revisions\/596"}],"wp:attachment":[{"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/media?parent=576"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/categories?post=576"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/millerdantas.com\/blog\/wp-json\/wp\/v2\/tags?post=576"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}