<div dir="ltr">Hi Vladimir,<br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Dec 6, 2016 at 12:57 PM, Vladimir Kozlov <span dir="ltr"><<a href="mailto:vladimir.kozlov@oracle.com" target="_blank">vladimir.kozlov@oracle.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Could be <a href="https://bugs.openjdk.java.net/browse/JDK-8139595" rel="noreferrer" target="_blank">https://bugs.openjdk.java.net/<wbr>browse/JDK-8139595</a> (not backported to 8u).<br>
<br>
I can't find anything else with remove_dependent_nmethod() on call stack in JBS.</blockquote><div>It does seem like it could be related, but yeah, it's unclear.  Hoping someone else here may have an idea.</div><div><br></div><div>Thanks </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Vladimir<span class=""><br>
<br>
On 12/6/16 9:33 AM, Vitaly Davidovich wrote:<br>
</span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">
Btw, for now I've advised the group hitting these to turn off tiered<br>
compilation to reduce code cache pressure and thus hopefully avoid<br>
whatever bug(s) is lurking here.<br>
<br>
I should've also mentioned that this doesn't happen all the time, of<br>
course, so there's no reliable repro.<br>
<br>
On Tue, Dec 6, 2016 at 12:02 PM Vitaly Davidovich <<a href="mailto:vitalyd@gmail.com" target="_blank">vitalyd@gmail.com</a><br></span><span class="">
<mailto:<a href="mailto:vitalyd@gmail.com" target="_blank">vitalyd@gmail.com</a>>> wrote:<br>
<br>
    Hi guys,<br>
<br>
    I have a couple of Hotspot crashes to report - both occur in nmethod<br>
    sweeping/flushing.  I'm going to strip down the hs_err content, but<br>
    let me know if there's something else you need from there.  Are<br>
    these known? A quick google suggests there are some bugs around<br>
    nmethod sweeping, but I couldn't find anything exactly like this.<br>
<br>
    Let me know if you need more info.<br>
<br>
    Thanks<br>
<br></span>
    *The first is:*<div><div class="h5"><br>
<br>
    #<br>
    # A fatal error has been detected by the Java Runtime Environment:<br>
    #<br>
    #  Internal Error (instanceKlass.cpp:1995), pid=15444,<br>
    tid=0x00002b1fd0186700<br>
    #  guarantee(val >= 0) failed: Underflow: -1<br>
    #<br>
    # JRE version: Java(TM) SE Runtime Environment (8.0_102-b14) (build<br>
    1.8.0_102-b14)<br>
    # Java VM: Java HotSpot(TM) 64-Bit Server VM (25.102-b14 mixed mode<br>
    linux-amd64 )<br>
    #<br>
    # If you would like to submit a bug report, please visit:<br>
    #   <a href="http://bugreport.java.com/bugreport/crash.jsp" rel="noreferrer" target="_blank">http://bugreport.java.com/bug<wbr>report/crash.jsp</a><br>
    #<br>
<br>
    ---------------  T H R E A D  ---------------<br>
<br>
    Current thread (0x00002b1f58056800):  JavaThread "C2<br>
    CompilerThread2" daemon [_thread_in_vm, id=15533,<br>
    stack(0x00002b1fd0086000,0x000<wbr>02b1fd0187000)]<br>
<br>
    Stack: [0x00002b1fd0086000,0x00002b1f<wbr>d0187000],<br>
     sp=0x00002b1fd0185580,  free space=1021k<br>
    Native frames: (J=compiled Java code, j=interpreted, Vv=VM code,<br>
    C=native code)<br>
    V  [libjvm.so+0xac52aa]  VMError::report_and_die()+0x2b<wbr>a<br>
    V  [libjvm.so+0x4fba22]  report_vm_error(char const*, int, char<br>
    const*, char const*)+0x62<br>
    V  [libjvm.so+0x63e9b0]<br>
     InstanceKlass::remove_depende<wbr>nt_nmethod(nmethod*, bool)+0x110<br>
    V  [libjvm.so+0x8e61b3]<br>
     nmethod::flush_dependencies(B<wbr>oolObjectClosure*)+0x93<br>
    V  [libjvm.so+0x8ebd5b]<br>
     nmethod::make_not_entrant_or_<wbr>zombie(unsigned int)+0x48b<br>
    V  [libjvm.so+0xa2b0cd]  NMethodSweeper::process_nmetho<wbr>d(nmethod*)+0x27d<br>
    V  [libjvm.so+0xa2b468]  NMethodSweeper::sweep_code_cac<wbr>he()+0x328<br>
    V  [libjvm.so+0xa2b7d4]  NMethodSweeper::possibly_sweep<wbr>()+0xb4<br>
    V  [libjvm.so+0x4ae105]  CompileQueue::get()+0x15<br>
    V  [libjvm.so+0x4b047b]  CompileBroker::compiler_thread<wbr>_loop()+0x18b<br>
    V  [libjvm.so+0xa73ce3]  JavaThread::thread_main_inner(<wbr>)+0x103<br>
    V  [libjvm.so+0xa73e2c]  JavaThread::run()+0x11c<br>
    V  [libjvm.so+0x9249c8]  java_start(Thread*)+0x108<br>
    C  [libpthread.so.0+0x6b50]  start_thread+0xd0<br>
<br>
    =>0x00002b1f58056800 JavaThread "C2 CompilerThread2" daemon<br>
    [_thread_in_vm, id=15533, stack(0x00002b1fd0086000,0x000<wbr>02b1fd0187000)]<br>
<br>
    VM state:not at safepoint (normal execution)<br>
    VM Mutex/Monitor currently owned by a thread:  ([mutex/lock_event])<br>
    [0x0000000001ac5f40] CodeCache_lock - owner thread: 0x00002b1f58056800<br>
    [0x0000000001ac7240] CompiledIC_lock - owner thread: 0x00002b1f58056800<br>
<br>
    Heap:<br>
     PSYoungGen      total 16531968K, used 13673471K<br>
    [0x00002b1b0b200000, 0x00002b1f49900000, 0x00002b1f4b200000)<br>
      eden space 15297024K, 83% used<br>
    [0x00002b1b0b200000,0x00002b1e<wbr>19277f68,0x00002b1eb0c80000)<br>
      from space 1234944K, 69% used<br>
    [0x00002b1eb0c80000,0x00002b1e<wbr>e5507eb0,0x00002b1efc280000)<br>
      to   space 1198080K, 0% used<br>
    [0x00002b1f00700000,0x00002b1f<wbr>00700000,0x00002b1f49900000)<br>
     ParOldGen       total 34891264K, used 26246257K<br>
    [0x00002b128b200000, 0x00002b1adcb80000, 0x00002b1b0b200000)<br>
      object space 34891264K, 75% used<br>
    [0x00002b128b200000,0x00002b18<wbr>cd11c630,0x00002b1adcb80000)<br>
     Metaspace       used 211158K, capacity 610281K, committed 610528K,<br>
    reserved 612352K<br>
<br>
    Polling page: 0x00002b1281166000<br>
<br>
    CodeCache: size=102400Kb used=71326Kb max_used=81914Kb free=31073Kb<br>
     bounds [0x00002b1284ab2000, 0x00002b128aeb2000, 0x00002b128aeb2000]<br>
     total_blobs=13619 nmethods=12436 adapters=1089<br>
     compilation: enabled<br>
<br></div></div>
    *Here's the second:*<div><div class="h5"><br>
    #<br>
    # A fatal error has been detected by the Java Runtime Environment:<br>
    #<br>
    #  Internal Error (instanceKlass.cpp:2018), pid=83979,<br>
    tid=0x00002bb97feba700<br>
    #  Error: ShouldNotReachHere()<br>
    #<br>
    # JRE version: Java(TM) SE Runtime Environment (8.0_102-b14) (build<br>
    1.8.0_102-b14)<br>
    # Java VM: Java HotSpot(TM) 64-Bit Server VM (25.102-b14 mixed mode<br>
    linux-amd64 )<br>
    #<br>
    # If you would like to submit a bug report, please visit:<br>
    #   <a href="http://bugreport.java.com/bugreport/crash.jsp" rel="noreferrer" target="_blank">http://bugreport.java.com/bug<wbr>report/crash.jsp</a><br>
    #<br>
<br>
    ---------------  T H R E A D  ---------------<br>
<br>
    Current thread (0x00002bb8f40cf800):  JavaThread "C2<br>
    CompilerThread6" daemon [_thread_in_vm, id=84042,<br>
    stack(0x00002bb97fdba000,0x000<wbr>02bb97febb000)]<br>
<br>
    Stack: [0x00002bb97fdba000,0x00002bb9<wbr>7febb000],<br>
     sp=0x00002bb97feb9710,  free space=1021k<br>
    Native frames: (J=compiled Java code, j=interpreted, Vv=VM code,<br>
    C=native code)<br>
    V  [libjvm.so+0xac52aa]  VMError::report_and_die()+0x2b<wbr>a<br>
    V  [libjvm.so+0x4fbd92]  report_should_not_reach_here(c<wbr>har const*,<br>
    int)+0x52<br>
    V  [libjvm.so+0x63e8fb]<br>
     InstanceKlass::remove_depende<wbr>nt_nmethod(nmethod*, bool)+0x5b<br>
    V  [libjvm.so+0x8e61b3]<br>
     nmethod::flush_dependencies(B<wbr>oolObjectClosure*)+0x93<br>
    V  [libjvm.so+0x8ebd5b]<br>
     nmethod::make_not_entrant_or_<wbr>zombie(unsigned int)+0x48b<br>
    V  [libjvm.so+0xa2b0cd]  NMethodSweeper::process_nmetho<wbr>d(nmethod*)+0x27d<br>
    V  [libjvm.so+0xa2b468]  NMethodSweeper::sweep_code_cac<wbr>he()+0x328<br>
    V  [libjvm.so+0xa2b7d4]  NMethodSweeper::possibly_sweep<wbr>()+0xb4<br>
    V  [libjvm.so+0x4ae105]  CompileQueue::get()+0x15<br>
    V  [libjvm.so+0x4b047b]  CompileBroker::compiler_thread<wbr>_loop()+0x18b<br>
    V  [libjvm.so+0xa73ce3]  JavaThread::thread_main_inner(<wbr>)+0x103<br>
    V  [libjvm.so+0xa73e2c]  JavaThread::run()+0x11c<br>
    V  [libjvm.so+0x9249c8]  java_start(Thread*)+0x108<br>
    C  [libpthread.so.0+0x6b50]  start_thread+0xd0<br>
<br>
    =>0x00002bb8f40cf800 JavaThread "C2 CompilerThread6" daemon<br>
    [_thread_in_vm, id=84042, stack(0x00002bb97fdba000,0x000<wbr>02bb97febb000)]<br>
    VM state:not at safepoint (normal execution)<br>
<br>
    VM Mutex/Monitor currently owned by a thread:  ([mutex/lock_event])<br>
    [0x0000000001858f40] CodeCache_lock - owner thread: 0x00002bb8f40cf800<br>
    [0x000000000185a240] CompiledIC_lock - owner thread: 0x00002bb8f40cf800<br>
<br>
    Heap:<br>
     PSYoungGen      total 18567168K, used 3149269K [0x00002bb3cdf00000, 0x00002bb8e3400000, 0x00002bb8e3400000)<br>
      eden space 15838208K, 5% used [0x00002bb3cdf00000,0x00002bb4<wbr>02b26e00,0x00002bb794a00000)<br>
      from space 2728960K, 83% used [0x00002bb83ab00000,0x00002bb8<wbr>c624e6b0,0x00002bb8e1400000)<br>
      to   space 2720768K, 0% used [0x00002bb794a00000,0x00002bb7<wbr>94a00000,0x00002bb83ab00000)<br>
     ParOldGen       total 23083520K, used 21102913K [0x00002ba9a3400000, 0x00002baf24280000, 0x00002bb3cdf00000)<br>
      object space 23083520K, 91% used [0x00002ba9a3400000,0x00002bae<wbr>ab450478,0x00002baf24280000)<br>
     Metaspace       used 167926K, capacity 377784K, committed 377856K, reserved 378880K<br>
<br>
<br>
<br>
    Polling page: 0x00002ba999461000<br>
<br>
    CodeCache: size=102400Kb used=72829Kb max_used=81642Kb free=29570Kb<br>
     bounds [0x00002ba99cdad000, 0x00002ba9a31ad000, 0x00002ba9a31ad000]<br>
     total_blobs=14843 nmethods=13668 adapters=1082<br>
     compilation: enabled<br>
<br>
--<br>
Sent from my phone<br>
</div></div></blockquote>
</blockquote></div><br></div></div>